O que é ETL?
ETL refere-se a Extrair, Transformar e Carregar, é um processo de 3 etapas aplicado para extrair os dados de várias fontes (que podem existir em várias formas), limpar e carregar em um banco de dados de destino para análise. ETL é um processo popular no mundo de data warehouse, onde os dados de várias fontes de dados são integrados e carregados em um banco de dados de destino para realizar análises e relatórios para negócios. Em termos básicos simples, o ETL é usado para extrair os dados de uma fonte de dados como um banco de dados ou um arquivo e, em seguida, limpos, transformados de acordo com os requisitos de negócios e carregados no banco de dados de destino.
O processo ETL existe na forma de várias ferramentas. Existem algumas ferramentas ETL populares por aí que são amplamente utilizadas pelas empresas para atender a diferentes requisitos de migração de dados. Embora essas ferramentas existam, não há garantia de que os requisitos de migração de dados serão atendidos imediatamente, e é por isso que DBAs e desenvolvedores geralmente optam por criar ETLs personalizados para superar desafios complexos de migração de dados em tempo real.
Por que ETL?
Sempre que há necessidade de migração de dados, a primeira coisa que DBAs ou Desenvolvedores procuram é uma ferramenta ETL. Os dados podem existir em diferentes formas; em banco de dados RDBMS, arquivos simples, CSVs etc., e o requisito seria migrar, integrar todos esses dados em um único banco de dados ou se o banco de dados de destino for diferente, o processo de transformação de dados se tornaria crítico. Esses desafios podem ser abordados por ferramentas de ETL que podem economizar custos e tempo de negócios. No mundo de hoje, a falta de ferramentas específicas de ETL pode custar às organizações um esforço significativo de desenvolvimento e dinheiro para criar um processo automatizado eficiente para migração de dados. Graças ao mundo de código aberto, existem algumas ferramentas populares de ETL de código aberto que podem lidar com desafios complexos de migração de dados em tempo real.
Embora existam vários motivos para migrar os dados, gostaria de me concentrar em dois requisitos típicos para migração de dados...
- Migre os dados de diferentes fontes (banco de dados, arquivos simples e CSVs) para um único banco de dados em um ambiente de armazenamento de dados presumivelmente um banco de dados de código aberto que reduziria significativamente o TCO para construir o Ambientes DWH. Essa seria uma opção viável, pois os aplicativos em tempo real usarão os bancos de dados comerciais existentes e o DWH hospedará os dados em um banco de dados de código aberto
- Migre os bancos de dados e aplicativos em tempo real de bancos de dados comerciais para bancos de dados de código aberto, como PostgreSQL, para um custo muito menor de operações de dados para empresas.
Meu foco neste blog seria identificar ferramentas de ETL que podem ajudar a realizar migrações de dados para o banco de dados PostgreSQL.
Por que migrar para o PostgreSQL?
O PostgreSQL é um banco de dados de código aberto, de classe empresarial, rico em recursos, que é a primeira opção que as empresas estão optando por seus vários requisitos de operação de dados em tempo real e tem implementações em vários ambientes de missão crítica. Depois de perceber o potencial desse banco de dados RDBMS altamente confiável e eficiente, mais e mais empresas estão optando por migrar seus bancos de dados e aplicativos para ele. Migrar os bancos de dados existentes para o PostgreSQL traz reduções significativas nos custos de TI, devido a isso, “Migrações para o PostgreSQL” é um requisito bastante comum nos dias de hoje e surge o requisito de migração de dados, que é onde começa a busca por uma ferramenta ETL.
Como dito acima, existem várias ferramentas de ETL comerciais e de código aberto e praticamente todas as ferramentas suportam o PostgreSQL.
Baixe o whitepaper hoje PostgreSQL Management &Automation with ClusterControlSaiba o que você precisa saber para implantar, monitorar, gerenciar e dimensionar o PostgreSQLBaixe o whitepaper
Quais são as principais ferramentas de ETL?
Ora2pg
Ora2pg é A OPÇÃO se você pretende migrar os dados do banco de dados Oracle para o PostgreSQL. É uma ferramenta de código aberto baseada em Perl especialmente desenvolvida para migrar dados de esquema, de bancos de dados Oracle para PostgreSQL e entende muito bem os dois bancos de dados e pode migrar dados de qualquer tamanho. Migrar objetos grandes de tamanho maior pode ser caro em termos de tempo e hardware.
Prós: Ora2pg é uma ferramenta muito popular usada especificamente para migrar bancos de dados Oracle para PostgreSQL. Suporta sistemas operacionais Windows e Linux e usa interface textual. Essa ferramenta entende muito bem os dois bancos de dados e é bastante confiável do ponto de vista da funcionalidade. Quando migramos dados em um ambiente de produção, o exercício de análise de dados (ou sanidade de dados) resultou em defeitos de dados “0”, o que é bastante notável. Bastante eficiente na migração de tipos de dados como Date/Timestamp e Large Objects. Fácil de agendar trabalhos via shell script em segundo plano. A resposta do desenvolvedor para quaisquer problemas no github é boa.
Contras: O procedimento de instalação do Ora2pg, que inclui a instalação de módulos Perl, clientes Oracle e Postgres, pode se tornar um assunto complexo dependendo da versão do sistema operacional e ainda mais complexo ao fazer o mesmo no sistema operacional Windows. Pode haver desafios de desempenho significativos ao migrar tabelas de tamanho grande com “objetos grandes” em paralelo (isso significa um trabalho ora2pg com vários encadeamentos), o que pode levar a uma mudança significativa na estratégia de migração de dados.
Talento
Talend é uma ferramenta ETL muito popular usada para migrar dados de qualquer fonte (banco de dados ou arquivo) para qualquer banco de dados. Esta ferramenta suporta o banco de dados PostgreSQL e muitas empresas usam essa ferramenta para migrar dados para o PostgreSQL. Existem versões comerciais e de código aberto dessa ferramenta e a versão de código aberto deve ser útil para migrações de dados.
Prós: Talend é uma ferramenta ETL baseada em java usada para integrações de dados e suporta PostgreSQL. Uma ferramenta fácil de instalar vem com uma GUI com versões comerciais e de código aberto. Pode ser executado em qualquer plataforma que suporte Java. Os desenvolvedores podem escrever código Java personalizado que pode ser integrado ao Talend. Não é grande coisa se você tiver que instruir um desenvolvedor ou um DBA a usar essa ferramenta para migrar os dados para o PostgreSQL. Pode migrar ou integrar dados de várias fontes, como um banco de dados ou um arquivo.
Contras: Agendar tarefas pode ser um desafio. Pode ser usado principalmente para migrar tabelas de tamanho razoável com poucas opções de otimização em torno da melhoria de desempenho. Pode não ser uma ótima opção para migrar tabelas de tamanho grande com milhões de linhas. Pode trazer desafios operacionais básicos. Precisa de experiência em Java para lidar com essa ferramenta, especialmente ao integrar o código personalizado. Não é fácil obter níveis de conforto nesta ferramenta em pouco tempo. Não é possível criar scripts e agendar os trabalhos de migração de dados.
SQLINES
Sqlines é outra ferramenta ETL de código aberto que pode migrar os dados de e para qualquer banco de dados. Esta é outra boa opção para migrar dados para bancos de dados PostgreSQL de praticamente qualquer banco de dados comercial ou de código aberto. Estou pessoalmente impressionado com esta ferramenta. Ele é desenvolvido em C/C++ e é muito simples de usar, sem complexidades no processo de instalação (basta baixar e descompactar o instalador e pronto!). Como esta é uma ferramenta baseada em C/C++, pode haver grandes ganhos de desempenho ao migrar bancos de dados de grande porte. Eu diria que esta ferramenta está evoluindo e os custos de assinatura para o suporte são muito razoáveis.
Prós: Como mencionado acima, estou impressionado com o fato de que esta ferramenta é construída com base em C/C++, o que é uma grande vantagem. Bastante fácil e simples de instalar e configurar. Usa interface textual que torna muito fácil agendar trabalhos por meio de scripts bash. Pode lidar com grandes volumes de dados. O suporte dos desenvolvedores é bom a um custo muito razoável. Os desenvolvedores estão abertos para aceitar suas ideias e implementá-las, o que a torna uma opção ainda melhor.
Contras: Poucas pessoas conhecem essa ferramenta e ela está evoluindo. Não há muitas opções de configuração para brincar. Há algum caminho a percorrer para que esta ferramenta se torne competitiva que não está longe. Você pode se deparar com desafios operacionais básicos.
Pentaho
Pentaho é outra ferramenta de migração e integração de dados que novamente possui versões comerciais e de código aberto que podem migrar dados de qualquer fonte de dados para qualquer banco de dados. Essa também é uma opção para migrar dados para o PostgreSQL. Esta ferramenta suporta uma ampla gama de bancos de dados e opera em um espaço maior com recursos de visualização de dados também.
Prós: Pentaho é uma ferramenta baseada em Java, opera em modo GUI e pode ser executada em sistemas operacionais como Windows, Unix e Linux. Opera em um espaço muito maior e é muito bom para fins de transformação e visualização de dados. Como mencionado acima, suporta uma ampla variedade de armazenamentos de dados.
Contras: não é uma ferramenta simples que pode apenas extrair dados e carregá-los no banco de dados de destino. O processo de migração de dados pode ser complexo e demorado. Concentra-se fortemente na transformação de dados, limpeza, integração e visualização. A ferramenta não é uma boa opção para apenas migrar dados de um banco de dados para outro banco de dados sem nenhuma transformação de dados ou exercícios de limpeza. O desempenho pode ser um desafio ao migrar grandes volumes de dados.
ETL personalizado: Não é exagero dizer que os ETLs personalizados são uma das maneiras mais comuns de realizar um processo ETL eficiente e de alto desempenho de ponta a ponta. DBAs, Desenvolvedores que chegam a essa situação não é uma surpresa. Seria impossível para um único ETL entender a complexidade dos dados, a forma dos dados e os desafios ambientais. Exemplo:quando você está migrando dados de vários bancos de dados diferentes em um datacenter com modelos de dados complexos para um banco de dados PostgreSQL hospedado em outro datacenter ou nuvem pública. Em tal situação, apenas caçar o melhor ETL pode acabar em uma perseguição infrutífera. Portanto, optar por ETL personalizado é o caminho a seguir se você deseja criar um processo ETL específico de ambiente e de dados específico.
Prós: Uma alternativa muito boa para organizações com ambientes complexos e dados complexos em que simplesmente não é possível encontrar um ETL que atenda a todas as suas preocupações de migração de dados. Pode ser muito benéfico em termos de funcionalidade e desempenho. Pode reduzir tempo e custo quando se trata de corrigir bugs e defeitos na ferramenta. As operações de ETL críticas, complexas e pesadas podem ter alto desempenho e confiabilidade, pois os desenvolvedores têm controle total sobre a ferramenta. A flexibilidade não tem limites. É uma boa opção quando você procura recursos além das ferramentas ETL e pode abordar qualquer nível de complexidade. Se você escolheu tecnologias como Java ou Python para criar ETL personalizado, elas combinam muito bem com o PostgreSQL.
Contras: Construir um ETL personalizado pode ser extremamente demorado. Esforços significativos de design e desenvolvimento são necessários para atender a todos os requisitos de migração de dados e outros desafios de dados. Abaixo estão alguns dos desafios que os ETLs personalizados devem acompanhar, o que pode exigir um esforço de desenvolvimento significativo e tempo para aprimoramentos:
- Mudanças ambientais
- Mudanças na infraestrutura e arquitetura do banco de dados que afetam as operações de ETL
- Mudanças de tipo de dados
- Crescimento do volume de dados que afeta significativamente o desempenho da migração de dados
- Estrutura do esquema ou alterações de design
- Qualquer alteração crítica de código para o ETL deve ser submetida a Desenvolvimento e Teste antes de entrar em produção, isso pode levar um tempo significativo
Em geral, os desenvolvimentos de ETL não são considerados como a parte crítica do orçamento do projeto, pois não fazem parte dos aplicativos de negócios regulares ou do processo de desenvolvimento de banco de dados. Não é uma surpresa se as empresas não optarem por criar um ETL personalizado à medida que surgem desafios de orçamento, recursos ou tempo.
Qual é a melhor ferramenta de ETL?
Bem, não há uma resposta direta. Tudo depende das suas necessidades e do ambiente. Escolher um ETL para migrar dados para o PostgreSQL depende de vários fatores, você precisará entender os fatores que afetam a migração de dados. Abaixo estão a maioria deles...
- Entenda seus dados
- Complexidade dos dados
- Tipos de dados
- Fonte de dados
- Tamanho dos dados
- Como estão os dados de origem? em um banco de dados? em um arquivo simples? Estruturado ou não estruturado? etc. etc.
- Quais etapas seu exercício de migração de dados envolverá? Suas expectativas em relação à ferramenta.
Se você conhece o acima, então, você estará quase em condições de escolher uma ferramenta ETL. A análise dos fatores acima o ajudaria a avaliar as características e capacidades de cada ferramenta ETL. Os especialistas técnicos que realizam a migração de dados geralmente procuram uma ferramenta ETL que seja eficiente, flexível e de alto desempenho.
No final do dia, não é uma surpresa se você acabar selecionando várias ferramentas ETL ou até mesmo desenvolvendo uma ferramenta personalizada.
Para ser honesto, é difícil recomendar apenas uma ferramenta ETL sem conhecer seus requisitos de dados. Em vez disso, sugiro que uma ferramenta tenha as seguintes características para projetar um processo de migração de dados eficiente e de alto desempenho...
- Deve estar usando interface textual com opções de configuração suficientes
- Deve ser capaz de migrar grandes quantidades de dados com eficiência, utilizando efetivamente várias CPUs e a memória
- Seria bom se a ferramenta pudesse ser instalada em vários sistemas operacionais. Algumas ferramentas específicas do PostgreSQL suportam apenas o Windows, o que pode representar desafios do ponto de vista de custos, eficiência e desempenho
- Deve ser capaz de entender os dados de origem e o banco de dados de destino
- Deve ter opções de configuração flexíveis com controle suficiente para conectar a ferramenta a um script bash ou python, personalizar e agendar vários trabalhos em paralelo
- Um processo de teste ideal deve ser projetado para entender os recursos de migração de dados da ferramenta
Existem ferramentas GUI que são fáceis de configurar e migrar os dados com um clique. Essas ferramentas são boas para migrar dados de tamanho razoável em ambientes fora da nuvem e são altamente dependentes da infraestrutura e da capacidade do hardware. Não haverá muitas opções além de aumentar a capacidade de infra para uma migração de dados mais rápida e as opções para executar vários trabalhos também são sombrias.
Ao migrar dados para o PostgreSQL, eu começaria a olhar para Talend ou SQLines. Se eu precisar migrar os dados do Oracle, eu olharia para Ora2pg.
