No mundo de hoje, os dados estão sendo gerados em uma taxa exponencial, tanto que os analistas estão prevendo que nossa criação global de dados aumentará 10 vezes até 2025. As empresas agora estão coletando dados em todos os sistemas internos e fontes externas que afetam suas empresas; e com isso vem uma necessidade cada vez maior de analisar os dados para obter informações sobre como eles podem ser usados para melhorar e aprimorar suas decisões de negócios. O Apache Zeppelin, uma plataforma de visualização e análise de dados de código aberto, pode nos levar muito longe para atingir esse objetivo.

Neste artigo, você aprenderá como adicionar um interpretador personalizado para MongoDB e MySQL e como usá-lo para consultar e visualizar dados de coleta. Primeiro, vamos começar com uma visão geral do Apache Zeppelin e seu conjunto de recursos:

O que é Apache Zeppelin?

O Apache Zeppelin é um “notebook” de código aberto baseado na web que permite análises de dados interativas e documentos colaborativos. O notebook é integrado a sistemas de processamento de dados de uso geral distribuídos, como Apache Spark (processamento de dados em grande escala), Apache Flink (estrutura de processamento de fluxo) e muitos outros. O Apache Zeppelin permite que você crie documentos interativos, orientados por dados e bonitos com SQL, Scala, R ou Python diretamente no seu navegador.

Recursos do Apache Zeppelin

Interface interativa O Apache Zeppelin possui uma interface interativa que permite ver instantaneamente os resultados de suas análises e ter uma conexão imediata com sua criação:
Cadernos do navegador Crie notebooks executados no navegador (tanto na máquina quanto remotamente) e experimente diferentes tipos de gráficos para explorar seus conjuntos de dados:
Integrações Integre-se a muitas ferramentas de big data de código aberto, como os projetos Apache Spark, Flink, Hive, Ignite, Lens e Tajo.

Interface interativa

O Apache Zeppelin possui uma interface interativa que permite ver instantaneamente os resultados de suas análises e ter uma conexão imediata com sua criação:

Cadernos do navegador

Crie notebooks executados no navegador (tanto na máquina quanto remotamente) e experimente diferentes tipos de gráficos para explorar seus conjuntos de dados:

Integrações

Integre-se a muitas ferramentas de big data de código aberto, como os projetos Apache Spark, Flink, Hive, Ignite, Lens e Tajo.

Formulários dinâmicos

Crie formulários de entrada dinamicamente diretamente em seu notebook.

Colaboração e compartilhamento

Uma comunidade de desenvolvedores diversificada e vibrante fornece acesso a novas fontes de dados que são constantemente adicionadas e distribuídas por meio da licença Apache 2.0 de código aberto.

Intérprete

O conceito do interpretador Apache Zeppelin permite que qualquer backend de processamento de dados/linguagem seja conectado ao Zeppelin. Atualmente, o Apache Zeppelin suporta muitos interpretadores como Apache Spark, Python, JDBC, Markdown e Shell.

Agora, vamos começar a criar seu interpretador personalizado para MongoDB e MySQL.

Adicionar um interpretador MySQL

Na plataforma Apache Zeppelin, acesse o menu suspenso no canto superior direito e clique em Interpreter:

Aqui é onde você pode encontrar uma lista de todos os intérpretes. Precisamos criar um novo para MySQL, então clique no botão “Criar” no canto superior direito:

Digite um nome reconhecível para o interpretador (por exemplo, mysql) e escolha group como JDBC:

Mantenha todas as opções padrão, mas insira os detalhes necessários e certifique-se de que uma conexão com seu servidor MySQL seja estabelecida:

Também precisamos adicionar um artefato personalizado ao JAR do conector MySQL para que o Zeppelin saiba de onde executá-lo. Baixe o conector aqui, coloque-o na pasta interpreter/jdbc e forneça o caminho exato para o artefato:

E é isso! Para testar nosso interpretador, precisamos criar uma nova nota. Mas primeiro, vamos configurar nosso interpretador MongoDB também.

Adicionar um intérprete do MongoDB

Volte para a página do intérprete e clique no botão "Criar". Vamos usar este interpretador de código aberto do MongoDB, então você precisará baixar o arquivo .zip e renomeá-lo para .jar.

Depois disso, vá para interpreters/, crie uma pasta mongodb/ e cole o .jar na pasta.

Agora você tem um novo grupo de intérpretes chamado mongodb. Vá para a página do seu intérprete, insira um nome amigável como mongodb e escolha mongodb na lista suspensa do grupo de intérpretes.

Agora, vamos inserir os detalhes do cluster do ScaleGrid MongoDB recém-criado em "Propriedades" encontrado na página Detalhes do cluster na seção Visão geral/Máquinas.

E terminamos! Agora é hora de testar nossos intérpretes recém-criados.

Criar uma nota do Zeppelin

Para executar consultas que ajudará a visualizar nossos dados, precisamos criar notas. No painel de cabeçalho do Zeppelin, clique em “Notebook” e depois em “Create a new note”:
Certifique-se de que o cabeçalho do notebook mostra um status conectado como denotado por um ponto verde no canto superior direito:

Ao criar uma nota, você verá uma caixa de diálogo para inserir mais informações. Escolha o interpretador padrão como nosso mysql recém-criado e clique em “Create Note”.

Executar consultas na nota

Antes de podermos executar qualquer dúvida, também precisamos mencionar o tipo de interpretador que usaremos para nossa nota. Podemos fazer isso iniciando nossa nota com “%mysql”. Isso dirá ao Zeppelin para esperar consultas do MySQL nessa nota.

E agora, estamos prontos para consultar nosso banco de dados. Para este exemplo, usarei minha instalação do WordPress que contém uma tabela wp_options típica para consultar e visualizar seus dados.

Funciona! Agora você pode clicar nos vários gráficos para visualizar os dados em diferentes formatos de gráfico.

Da mesma forma, para o MongoDB, certifique-se de ter dados no cluster do MongoDB. Você pode adicionar alguns acessando a guia Admin e executando consultas do Mongo.

Aqui está um exemplo de alguns dados do MongoDB na nota:

Compartilhar links para suas notas

Agora que seus dados estão prontos para visualização e consulta, talvez você queira mostrá-los à sua equipe. Você pode fazer isso facilmente criando um link compartilhável para a nota:

Este link compartilhável estará disponível para qualquer pessoa visualizar, e você também pode optar por compartilhar um link apenas para um gráfico específico:

Conclusão do Apache Zeppelin

O Apache Zeppelin é uma ferramenta extremamente útil que permite que as equipes gerenciem e analisem dados com muitas opções de visualização, tabelas e links compartilháveis diferentes para colaboração. Aqui estão alguns links úteis para você começar:

Baixe o Apache Zeppelin

Intérprete do MongoDB

Conector MySQL

Você também pode explorar outras maneiras de visualizar seus dados por meio das GUIs do MongoDB, incluindo as quatro principais:MongoDB Compass, Robomongo, Studio 3T e MongoBooster.

Como sempre, se você construir algo incrível, envie-nos um tweet sobre isso @scalegridio

Se precisar de ajuda com hospedagem e gerenciamento do Redis™*, entre em contato conosco em [email protected] para obter mais informações.

Visualização de dados usando o Apache Zeppelin – Tutorial