Replicação de dados significa copiar dados de um lugar para outro, e geralmente é feito entre usuários de diferentes bancos de dados que precisam compartilhar o mesmo nível de informação. A replicação também pode envolver outras fontes e destinos de dados e se tornar mais complexa em termos de transformação e temporais.
Este é o primeiro de dois artigos que abordam a replicação de banco de dados na GUI do IRI Workbench. O IRI Workbench é o IDE gratuito criado no Eclipse™ que oferece suporte a todos os produtos IRI, incluindo IRI NextForm (para migração de dados e banco de dados) e IRI Voracity (uma plataforma de gerenciamento de dados total que inclui NextForm et al.). O IRI Workbench cria e executa tarefas de replicação de dados por meio de assistentes, scripts e diagramas de fluxo de trabalho.
Aqui estão algumas das maneiras pelas quais as replicações ocorrem:
- Os dados de um banco de dados são copiados para outro banco de dados no mesmo ou em outro servidor.
- Dados de dois ou mais bancos de dados são combinados em um único banco de dados.
- Os usuários obtêm cópias iniciais completas do banco de dados e, em seguida, atualizações periódicas à medida que os dados mudam.
- Os dados são extraídos seletivamente de um banco de dados e replicados em um arquivo externo.
A replicação de dados permite replicar apenas uma parte do banco de dados; ou seja, tabelas, colunas e/ou linhas selecionadas. A replicação de todas as tabelas faz parte do espelhamento de banco de dados. No entanto, alterações em esquemas, restrições, procedimentos e autorizações de acesso não são tão fáceis de replicar e podem envolver processos separados.
Exemplo básico no IRI Workbench
Usaremos um assistente de criação de trabalho do menu NextForm na barra de ferramentas do IRI Workbench para este primeiro exemplo de replicação de dados. Copiaremos dados de uma tabela Oracle em uma tabela MySQL e em um arquivo simples modificado. Este segundo artigo demonstra a replicação apenas de dados atualizados em uma tabela avaliando valores de coluna de carimbo de data/hora.
O menu NextForm contém três assistentes de criação de trabalho:
- Novo trabalho de reformatação
- Novo trabalho de migração de fonte única
- Novo trabalho de migração de várias tabelas
Usaremos o assistente New Reformat Job para realizar essa replicação. Para um trabalho mais complexo, usaríamos um assistente NextForm diferente ou um assistente de trabalho ETL no menu Voracity (ou criaremos manualmente um novo fluxo de trabalho).
Aqui está a estrutura das tabelas de origem e destino:
Etapa 1:especificar o nome e as opções de trabalho
No menu NextForm na barra de ferramentas superior, selecione o assistente New Reformat Job. Para este exemplo, insira o nome do arquivo de trabalhodatareplication . NextForm adiciona a extensão .ncl. Você também pode adicionar qualquer informação relevante sobre este trabalho que aparecerá como comentários no script.
Na lista de botões de opção, deixe a seleção padrão de Criar script porque este é um trabalho autônomo e não faz parte de um fluxo maior ou projeto em lote.
Etapa 2:identificar a fonte
Na próxima tela, Fontes de dados, clique em Adicionar fonte de dados . A origem neste exemplo é um banco de dados conectado por ODBC, então selecione ODBC, e clique em Procurar para selecionar o nome da fonte de dados (DSN) e a tabela.
Etapa 3:especifique os metadados de origem
Para que o software IRI mova e manipule os dados em seu mecanismo (neste caso, replique no NextForm), você precisa de metadados para a origem e os destinos definidos no script de trabalho, no formato de arquivo de definição de dados (DDF) do IRI.
Você pode construir os DDFs para qualquer origem (ou destino) automaticamente no IRI Workbench. Essa funcionalidade está incorporada aqui, onde você pode optar por Descobrir metadados ou Adicionar metadados existentes . Nesse caso, adicionaremos metadados existentes, que foram criados de maneira diferente. Essa escolha e seus resultados são mostrados na caixa de diálogo a seguir:
Clique em Layout do campo de origem para ver o layout dos dados.
Clique em OK para fechar o Layout do Campo de Origem. Em seguida, clique em Avançar na página Data Sources para abrir a página Data Target.
Etapa 4:defina o(s) alvo(s)
Estamos enviando os dados Oracle replicados para dois destinos:uma tabela MySQL que estamos nomeandocustomers_out , e um arquivo chamado personout.csv .
Adicionar uma tabela de destino
Clique em Adicionar destino de dados . Selecione ODBC e clique em Procurar . Em seguida, selecione o nome da fonte de dados (DSN) Oracle e a tabela CUSTOMERS_REP . Clique em OK para fechar o diálogo.
Na página Destinos de Dados, destaque o nome da tabela e clique em Adicionar Metadados Existentes . Selecione cust.ddf (que foi criado anteriormente) e clique em OK .
Queremos limitar o número de registros neste arquivo a 100. Clique em Editar opções de destino para abrir o editor e no Outcollect campo, digite 100 e clique em OK .
Adicionar um arquivo de destino
Novamente, clique em Adicionar destino de dados . Selecione Arquivo e digite personout.csv e clique em OK . Queremos limitar o número de registros no arquivo a não mais que 50 e também precisamos alterar o formato para CSV. Para fazer as duas coisas, clique em Editar opções de destino para abrir o editor. Altere o Formato campo para CSV , e no Outcollect campo, digite 50 e clique em OK .
Adicione uma função de string ao arquivo de destino
Também adicionaremos uma função de string para exibir apenas os quatro últimos dígitos do campo SSN. Para fazer isso, clique em Layout do campo de destino e clique na guia personout.csv.
Selecione o campo SSN, clique com o botão direito do mouse e selecione Aplicar regra > Criar regra . Na página Seleção do Assistente de Nova Regra de Campo, selecione Funções de Manipulação de String . Na próxima página – Funções de manipulação de strings – selecione sub_string . No Deslocamento campo, digite 6 para o número de caracteres à esquerda do campo e no campo Comprimento campo, digite 4 para o comprimento da substring e clique em Concluir .
Adicionar um filtro de inclusão
Para continuar modificando o arquivo CSV, adicionaremos um filtro para limitar os dados para incluir apenas os registros da CA. Clique em Gravar filtro para criar o filtro. Selecione Incluir para a ação de filtro e selecione Nova condição para o tipo. Abra o Expression Builder clicando no ícone de função.
No Construtor de Expressões, selecione a categoria Operadores Relacionais e o item EQ . Na Expressão campo na parte superior, digite STATE EQ “CA” usando as ferramentas na barra de ferramentas e clique em Concluir . 
De volta à página Destinos de dados, decidimos reposicionar os campos de sobrenome e nome após o campo zip. Selecione SOBRENOME e clique em Para baixo até que o campo esteja na parte inferior da lista e selecione FIRSTNAME e faça o mesmo.
Quando terminarmos de adicionar os dois destinos, os campos e as modificações serão exibidos na página Destinos de dados.
Clique em Concluir para concluir a construção do script, que é mostrado abaixo na visualização do editor com reconhecimento de sintaxe e codificada por cores do IRI Workbench:
Resultados
Execute o script de trabalho clicando com o botão direito do mouse no script e selecionandoExecutar como> Trabalho IRI . Os dados de destino são mostrados nas guias abertas abaixo:
Se você tiver alguma dúvida sobre a replicação de dados no NextForm ou Voracity, entre em contato com seu representante IRI.
- No Data Source Explorer, clique com o botão direito na tabela, selecione IRI > Gerar DDF . Isso cria o DDF para a tabela na pasta do projeto ativo e será referenciado pelo mecanismo de manipulação de dados do IRI em tempo de execução.
