Atualização:segundo trimestre de 2016 :além do assistente de criação de perfil de banco de dados no grupo de menus de descoberta de dados no IRI Workbench descrito abaixo, o IRI introduziu classificação de dados robusta que permite a aplicação de regras de campo para transformação e proteção de dados de várias fontes por meio de bibliotecas de classes de dados. Atualização do segundo trimestre de 2018 :o IRI também introduziu um assistente de pesquisa de padrões em todo o esquema para encontrar PII correspondentes a RegEx ou valores literais em várias tabelas de uma só vez. Atualização do segundo trimestre de 2019 :IRI agora também fornece pesquisa de classe de dados inter/intra-esquema e mascaramento para usuários IRI FieldShield ou Voracity. E, IRI acaba de publicar este artigo para mostrar como os resultados de perfil de banco de dados abaixo são exibidos no Splunk.
Com mais dados sendo coletados de mais aspectos dos negócios hoje, o fácil conhecimento de seu conteúdo e natureza é vital para garantir a qualidade, quantidade e segurança dessas coleções. A criação de perfil de dados é o processo de descoberta essencial que ajuda a analisar, classificar, limpar, integrar, mascarar e relatar dados em seus repositórios.
Além dos assistentes de descoberta de dados (e definição de metadados) escuros e estruturados, juntamente com a diagramação E-R de banco de dados cruzado no Eclipse, a nova ferramenta de criação de perfil de banco de dados cruzado no IRI Workbench permite que os usuários examinem a estrutura e a integridade dos dados do banco de dados e validem isso os dados apropriados estão sendo armazenados nos lugares certos. Neste artigo, examinaremos essa ferramenta e mostraremos como ela fornece resultados de pesquisa de valor de tabela e metadados estatísticos.
Para acessar o Database Profiler, navegue até a tabela que você deseja acessar no Data Source Explorer. Clique com o botão direito do mouse na tabela e passe o mouse sobre a opção IRI. No menu exibido, selecione Novo perfil de banco de dados .
Na primeira página do assistente, configure o local e o destino do trabalho e selecione a saída do relatório de perfil, como arquivo .csv ou .txt, ou ambos.
- o formato .csv é útil para importar para novas tabelas e bancos de dados, enquanto
- o formato .txt é um relatório pré-formatado, útil para revisar os resultados rapidamente.
Informações de perfil estatístico
A próxima parte do assistente aparecerá com duas tabelas:
- A tabela superior é uma lista de todas as tabelas do banco de dados, com a tabela que iniciou o assistente destacada por padrão.
- Esta caixa de seleção permite uma opção de um clique para verificar todas as tabelas e linhas em seu banco de dados.
- A tabela inferior mostra as opções de criação de perfil, seguidas pelas colunas da tabela destacada na qual você escolhe executar as opções.
Clique em qualquer tabela na lista que você deseja visualizar e perfil. A matriz de opções mudará automaticamente para representar as colunas da tabela selecionada. Existem várias maneiras de lidar com as opções de visualização:
- Para todas as opções, clique na caixa de seleção superior na tabela, rotulada "Todos", e todos os metadados serão informados.
- Somente para opções básicas (contagem e valores), marque a caixa de seleção Basics.
- Somente para opções de comprimento (valores de comprimento), marque a caixa de seleção Comprimentos.
Se você tiver muitas colunas em sua tabela e quiser selecionar a mesma opção para todas elas, clique no próprio nome da opção e todas as colunas terão essa opção selecionada. Você pode desmarcar colunas dentro da opção.
Quando tudo estiver definido, clique em Concluir e então o perfil será gerado para você.
Pesquisa de expressão
Uma opção única na tabela de opções é a -Expression Search-. Essa opção permite pesquisar colunas em várias opções de pesquisa. Essas opções são:
- Expressões regulares (pesquisa de padrões). Isso localiza e conta o número de vezes que um valor corresponde ao formato de um padrão de pesquisa.
- String difusa. Esta opção permite pesquisar strings semelhantes às que você digita e selecionar ou especificar condições de pesquisa.
- Arquivo de Valores. Essa opção permite comparar uma string com todas as strings em um arquivo definido e contar cada string que tenha uma correspondência.
A página Pesquisa de Expressão tem 6 seções importantes
- Uma caixa de combinação Tipo de pesquisa para selecionar o tipo de pesquisa a ser realizada.
- O grupo de opções que muda dependendo do tipo de pesquisa selecionado
- Expressão Regular:possui dois botões; procure o que navega nas expressões regulares existentes e Criar… que permite a criação de novas expressões regulares.
- Fuzzy String:possui uma caixa de contagem que especifica o limite da pesquisa difusa (quão próximas as strings devem estar para serem consideradas uma correspondência) e uma caixa de combinação para selecionar o algoritmo de pesquisa difusa a ser usado.
- Arquivo de valores:possui um botão Procurar… que permite pesquisar o arquivo definido a ser usado para a pesquisa de valores.
- Uma caixa de texto onde você inserirá os dados para sua pesquisa.
- Uma lista suspensa das tabelas às quais você pode aplicar a pesquisa de expressão.
- Uma lista suspensa das colunas nas quais você pode aplicar a pesquisa de expressão.
- Uma tabela que lista as pesquisas que você criou e que serão realizadas pelo criador de perfil.
Para criar um filtro de expressão regular:
- Na combinação Tipo de pesquisa, selecione Expressão regular .
- Clique em Procurar para (sua biblioteca de expressões salvas) ou clique em Criar para especificar uma expressão regular a ser usada na pesquisa de valores de colunas.
- No menu Tabela, selecione a tabela que contém a coluna a ser filtrada.
- No menu Coluna, selecione a coluna à qual a expressão regular deve ser aplicada.
- Clique em Adicionar à tabela , e um item aparecerá na tabela abaixo contendo o nome do arquivo, o nome da coluna, a origem da pesquisa, o limite e o rótulo da expressão regular que compõem o filtro.
- Repita este processo para cada coluna à qual você deseja adicionar um filtro. Se você tiver muitas colunas para tornar esse processo prático, ainda poderá verificar várias colunas e tabelas automaticamente (para dados que correspondam aos seus padrões em um esquema de banco de dados inteiro) usando este assistente.
Para criar uma pesquisa de string difusa:
- Na combinação Tipo de pesquisa, selecione String difusa .
- Digite a string a ser usada para pesquisa.
- Selecione o número de resultados a serem retornados (esta opção aparecerá quando a Pesquisa difusa for selecionada).
- Selecione o Tipo de pesquisa difusa a ser usado (esta opção aparecerá quando Fuzzy String for selecionado).
- No menu Tabela, selecione o arquivo que contém a coluna para pesquisa difusa.
- No menu Coluna, selecione a coluna na qual a pesquisa difusa deve ser realizada.
- Clique em Adicionar à tabela , e um item aparecerá na tabela abaixo contendo o nome do arquivo, o nome da coluna, a fonte da pesquisa, o limite e o tipo de pesquisa da pesquisa difusa a ser executada.
- Repita este processo para cada coluna em que você deseja realizar uma pesquisa de string difusa.
Para criar uma pesquisa de arquivo de valores:
- Na combinação Tipo de pesquisa, selecione Arquivo de valores .
- Clique em Procurar para selecionar um arquivo definido com o qual a coluna será verificada.
- No menu Tabela, selecione a tabela que contém a coluna a ser filtrada.
- No menu Coluna, selecione a coluna à qual a expressão regular deve ser aplicada.
- Clique em Adicionar à tabela , e um item aparecerá na tabela abaixo contendo o nome do arquivo, o nome da coluna, a origem da pesquisa, o limite e o rótulo de pesquisa da lista de valores que compõem o filtro.
Verificação de integridade referencial
Outra opção na tabela de opções é -Check Referential Integrity-. Essas opções permitem que o criador de perfil compare uma ou mais colunas com outra coluna e determine se as colunas têm integridade referencial. Para usar essa função, marque as caixas -Check Referential Integrity- nas colunas para comparar a integridade referencial. O botão Avançar será ativado e permitirá que você especifique os parâmetros para a verificação de integridade referencial (veja abaixo os detalhes).
Se você selecionou a opção Verificar integridade referencial para qualquer uma de suas colunas, clique em Avançar para acessar a página de verificação de integridade referencial. Esta página tem as seguintes características:
- Duas caixas de combinação, uma para selecionar a tabela na qual a chave primária está, a outra é para especificar a coluna da chave primária.
- Duas caixas de combinação, uma para selecionar a tabela na qual a chave estrangeira está e a outra para especificar a coluna da chave estrangeira. Há também um botão para adicionar a chave estrangeira a uma lista de chaves estrangeiras para comparar com a chave primária.
- Um botão Criar verificação de integridade para adicionar as colunas primária e estrangeira à lista abaixo.
- Uma lista que armazena todas as verificações de integridade referencial que serão executadas pelo criador de perfil.
Para criar uma verificação de integridade referencial:
- Na caixa de combinação da tabela em Coluna de chave primária, selecione a tabela na qual a chave primária está.
- Na caixa de combinação da coluna em Coluna de chave primária, selecione a chave primária.
- Na caixa de combinação da tabela em Coluna de chave estrangeira, selecione a tabela em que a chave estrangeira está.
- Na caixa de combinação da coluna em Coluna de chave estrangeira, selecione a chave estrangeira.
- Clique no botão Adicionar à lista de chaves estrangeiras…
- Repita as etapas de 3 a 5 para cada chave estrangeira a ser verificada em relação à chave primária
- Clique no botão Criar verificação de integridade…
- Repita os processos acima para cada verificação de integridade referencial a ser executada.
Saídas de perfil de amostra
.csv exibido no LibreOffice / .txt exibido no EditPad Lite
