Oracle
 sql >> Base de Dados >  >> RDS >> Oracle

Data Warehousing ETL Data Profiling com Oracle Warehouse Builder

Introdução à criação de perfil de dados


Perfil de dados é o processo de documentar sistematicamente o design e o conteúdo dos dados em um arquivo, tabela ou esquema. Perfil de dados é um primeiro passo importante realizado quando um data warehouse está nos estágios de planejamento. É importante que os arquitetos e designers de data warehouse compreendam a qualidade e a natureza geral dos dados dos sistemas operacionais subjacentes antes de realizarem um grande projeto de data warehouse. Alguns aspectos específicos dos dados de origem que a criação de perfil pode revelar incluem:
  • O tamanho geral (em bytes) de cada tabela ou arquivo de origem, incluindo detalhes sobre cada tipo de dados de campo/coluna.
  • Contagens, médias, intervalos e existência de nulos para cada coluna.
  • Relacionamentos entre colunas de dados dentro de tabelas (como dependências funcionais).
  • Relacionamentos entre tabelas (como relacionamentos de chave estrangeira).

Os resultados do estágio de criação de perfil de dados podem ainda ser usados ​​para desenvolver regras para verificar a qualidade dos dados e regras para corrigir problemas de dados durante os primeiros estágios de um pipeline ETL.

O Oracle Warehouse Builder fornece um poderoso recurso de criação de perfil de dados que pode ser usado para aprender, em grande detalhe, as extensões e características dos dados em um esquema. A documentação oficial do OWB sobre Data Profiling pode ser encontrada neste link. O Oracle Warehouse Builder é instalado junto com as versões padrão e Enterprise do Oracle 11g Database. Aqui estão algumas instruções sobre como instalar o Oracle 11g Release 2 no Windows.

Se você tiver um servidor Oracle 11g central, poderá usar o Oracle Warehouse Builder Client para acessar esse repositório central.

Nesta demonstração são apresentados os principais passos necessários para o perfil de um esquema de sistema OLTP. O esquema de destino será o esquema Oracle “Order Entry” (OE) que pode ser instalado e habilitado em bancos de dados Oracle 11g. Observe que o usuário do Oracle Warehouse deve ter acesso (credenciais) ao esquema OE para configurar o módulo apropriado no OWB.

A primeira etapa importante na criação de perfil é criar um módulo que aponte para o esquema do banco de dados de origem. OWB suporta um grande número de fontes de banco de dados, bem como arquivos simples (texto).

Configurando um novo módulo para o esquema de entrada de pedidos


Neste conjunto de etapas, o esquema Order Entry (OE) será criado como um novo Módulo no Oracle Warehouse Builder.
  1. Comece fazendo login no Oracle Warehouse Builder. Abra a janela Project Navigator e, em seguida, abra o MY_PROJECT
    Abra os Bancos de dados pasta e, em seguida, o Oracle pasta.
    Clique com o botão direito do mouse no Oracle pasta e selecione Novo Módulo Oracle como mostrado abaixo:
  2. Quando a tela de boas-vindas aparecer, clique no botão Next> botão
  3. Forneça um novo nome e descrição para o banco de dados. Observe que você não pode usar espaços no nome do banco de dados.
    Clique no botão Next> botão para continuar.
  4. O próximo passo principal será especificar a localização do banco de dados. Muito provavelmente, esta é a primeira vez que passa por essas etapas e, portanto, a localização do Oracle OE Schema não foi definida. Nesse caso, clique no botão Editar... botão mostrado ao lado do Local alerta


  5. Preencha o nome, Descrição e informações de conexão (nome do host, nome de usuário, senha, número da porta, nome do serviço Oracle etc.) Clique em OK botão quando terminar.


  6. Confirme as informações de conexão e clique na opção Importar após concluir .
    Em seguida, clique no botão Próximo> botão para continuar:


  7. A tela de resumo final aparecerá indicando que a criação do módulo foi bem-sucedida.
    Clique no botão Concluir botão para fechar esta tela.


Importando metadados para o esquema de entrada de pedidos


  1. Verificando a opção Importar após a conclusão opção na etapa 6, o Assistente de importação de metadados será iniciado automaticamente assim que o módulo de banco de dados for criado. Se você pulou esta opção, clique com o botão direito do mouse no novo módulo Order_Entry e selecione Import Metadata no menu.
    Assim que o assistente de importação de metadados for iniciado, clique no botão Next> botão para continuar.


  2. As Informações do filtro tela aparecerá em seguida. Nesse caso, queremos importar metadados para todo o conteúdo do esquema, então clique no botão All opção e clique no botão Next> botão para continuar.


  3. A próxima tela a ser exibida oferece a capacidade de selecionar alguns ou todos os objetos descobertos no esquema. Inicialmente a Seleção de Objeto aparecerá a seguinte tela:


  4. Clique no ícone de seta dupla para a direita para mover todos os objetos de Disponível lado do Selecionado lado como mostrado abaixo. Em seguida, clique no botão Next> botão para continuar.


  5. O Resumo e Importação tela aparecerá em seguida. Revise a tela para certificar-se de que todos os objetos foram selecionados e clique no botão Concluir botão para concluir a importação.


  6. Um importar resultados aparecerá a tela de resumo. Clique em OK botão para fechá-lo.


  7. No Oracle Warehouse Builder Projects Navigator, o banco de dados ORDER_ENTRY será preenchido com todos os seus objetos, incluindo as tabelas mostradas abaixo:

Neste ponto, um novo módulo de banco de dados para o esquema de banco de dados Oracle Order Entry foi criado e todos os metadados do esquema foram importados para o Oracle Warehouse Builder. No próximo conjunto de etapas, um novo Perfil de dados Será criado.


Criando um Perfil de Dados no Oracle Warehouse Builder


A próxima etapa importante é criar um Perfil de dados .
  1. No Oracle Warehouse Builder Projects Navigator, clique com o botão direito do mouse em Perfis de dados grupo e selecione Novo perfil de dados


  2. Quando a tela de boas-vindas aparecer, clique no botão Next> botão


  3. Forneça um nome e uma descrição do novo perfil de dados. Neste exemplo, nomeamos o novo perfil:Order_Entry_Schema_Profile (observe que não são permitidos espaços no nome do perfil). Clique no botão Próximo> botão para continuar.


  4. A próxima tela fornece uma lista de objetos de esquema. Abra as Tabelas e adicione todas as tabelas (com exceção do PURCHASEORDER tabela) listada no banco de dados de entrada de pedidos para o Selecionado lado da tela.
    Não adicione nenhuma das visualizações.
    Clique no botão Next> botão para continuar.


  5. Neste ponto, o Resumo aparecerá a tela e o Perfil de Dados foi configurado. Clique no botão Concluir botão.


  6. Assim que o novo perfil estiver configurado, o Editor de perfil de dados aparecerá a tela.

A próxima etapa será executar o criador de perfil no esquema.


Trabalhando com o Profile Editor no Oracle Warehouse Builder


A etapa principal final é trabalhar no Editor de Perfil para iniciar um trabalho de criação de perfil de dados e, em seguida, visualizar os resultados. Se você seguiu as etapas anteriores para criar um novo perfil de dados, o OWB deve ter iniciado o Editor de perfil de dados . Todas as instruções deste ponto em diante pressupõem que estamos trabalhando no Data Profile Editor.
  1. Abaixo está uma visualização do Editor de perfil de dados. Observe que o módulo de banco de dados ORDER_ENTRY é aberto em Profile Objects janela e todas as tabelas devem ser listadas aqui.


  2. Você pode fazer alterações nas etapas de criação de perfil nas seções do Inspetor de propriedades, como Carregar configuração e Configuração de agregação . As descrições dessas configurações podem ser encontradas neste link.
    Para este exemplo, certifique-se de que os seguintes padrões de perfil estejam selecionados:
    • Ativar descoberta de formato comum
    • Ativar descoberta de tipo
    • Ativar descoberta de padrões
    • Ativar descoberta de domínio
    • Ativar descoberta de chave exclusiva
    • Ativar descoberta de dependência funcional
    • Ativar descoberta de colunas redundantes
    • Ativar a criação de perfil de regra de dados
  3. Para iniciar o trabalho de criação de perfil de dados, abra o Perfil menu e selecione Perfil


  4. Assim que o trabalho de perfil for iniciado, uma caixa de diálogo aparecerá mostrando o progresso da validação do perfil. Isso pode levar vários minutos, dependendo da velocidade do servidor e do número de objetos de banco de dados no perfil.


  5. Quando a etapa de validação for concluída, o trabalho de perfil real será executado. Observe que esse trabalho é executado de forma assíncrona em segundo plano. Clique em OK botão para fechar o Perfil Iniciado caixa de diálogo.


  6. Assim que o trabalho do perfil for concluído, Recuperar resultados do perfil aparecerá a tela. Clique em Sim para recuperar os resultados do perfil no Editor de perfil.


  7. Os resultados do perfil aparecerão no Editor de perfil. Clique no nome de uma tabela para ver os metadados na Tela de resultados do perfil . Clique no nome de uma coluna para ver os detalhes de uma coluna no Painel de Perfuração de Dados
    Na figura abaixo (clique para ampliar), os CLIENTES foi selecionada para visualização na tela de resultados do perfil e o NLS_TERRITORY foi selecionada para exibição no Painel de Perfuração de Dados.



Mais informações sobre o Oracle OWB Data Profiling


Além da documentação, a Oracle também fornece uma série de tutoriais Oracle By Example (OBE) para OWB, incluindo:Oracle Warehouse Builder:Examinando Dados de Origem Usando Criação de Perfil de Dados.