Os nomes dos produtos de software IRI e como eles são executados às vezes têm sido uma fonte de mistério, ou mesmo confusão, para os não iniciados. Este artigo explica as partes e esclarece sua interação, fornecendo uma cartilha rápida para usuários em potencial, parceiros e novos analistas do setor st.
Onde tudo começou
Começou com o IRI CoSort em 1978, o utilitário de classificação, transformação e geração de relatórios de big data para Unix e Windows ainda em uso hoje. Antes do CoSort, esse primeiro produto IRI era chamado de CO-SORT, COSORT e CoSORT, nessa ordem.
Em 1992, a IRI adicionou a sintaxe de definição de dados Sort Control Language (SortCL) e o programa de manipulação para outros utilitários e APIs no pacote CoSort. Hoje, SortCL é a interface do usuário mais amplamente usada e repleta de recursos no pacote CoSort.
Os scripts SortCL definem, e o programa sortcl é executado, as tarefas que executam e combinam muitas tarefas comuns de movimentação e mapeamento de dados que os usuários do CoSort precisam executar. SortCL não é apenas um 4GL simples para aprender, ler e modificar, mas também é suportado por meio de uma API (chamada sortcl_routine) e graficamente no IRI Workbench IDE gratuito, construído no Eclipse.
À medida que a funcionalidade do SortCL se expandia, superava o mercado tradicional de CoSort para migrações de classificação e aceleração de BI/DW. Hoje, o executável SortCL não é apenas o mecanismo que executa a maioria dos trabalhos CoSort, mas é o coração de vários produtos derivados, ilustrados aqui:
Produtos derivados de CoSort / SortCL
Especificamente, o mesmo mecanismo SortCL e scripts de trabalho compatíveis - geralmente projetados e frequentemente gerenciados a partir do IRI Workbench, processam fontes de dados estruturados em:
- IRI FieldShield e IRI DarkShield para mascaramento de dados
- IRI RowGen para síntese de dados de teste e subconjunto de banco de dados
- IRI NextForm para conversão e replicação de dados e banco de dados e, o
- trabalhos da plataforma de gerenciamento de dados IRI Voracity, que incluem os do CoSort e os produtos vinculados acima, mais recursos front-end adicionais por meio da GUI comum do Workbench, como:
- Descoberta de dados (criação de perfil, classificação e pesquisa)
- ETL, CDC e SDC do data warehouse
- Migração e prototipagem do Data Vault 2.0
- Qualidade de dados (validação, limpeza, homogeneização)
- Analytics ou data wrangling para Splunk e KNIME e outras ferramentas de BI via handoff
Outra maneira de olhar para a hierarquia do produto é desta forma:
onde o Workbench IDE é onde todos os trabalhos do produto IRI são projetados - incluindo os recursos adicionais suportados no Voracity.
Uma pergunta frequente
Como o SortCL começou com o CoSort e é comum a todos esses produtos, isso significa que posso usar o CoSort ou outro produto acima para fazer o que os outros produtos também fazem?
A resposta é sim e não. Sim, você tem SortCL e, em teoria, pode fazer o mesmo trabalho que outro produto IRI compatível com SortCL deve executar. Mas seria mais difícil e representa um risco de produção. A IRI fornece apenas documentação e suporte para as tarefas mais associadas aos seus produtos IRI licenciados.
Portanto, a capacidade de cruzamento é limitada na prática. No entanto, a funcionalidade combinatória é comum em muitos casos (como um subconjunto de banco de dados classificado) e, no Voracity, casos de uso multitarefa e multietapas (como mapeamento incremental, mascaramento, limpeza e reformatação) são altamente eficientes e totalmente suportados.
SortCL é o mecanismo padrão em todos os IRI Voracity CDC, ETL, CDC, limpeza, reconciliação, subconjunto ,
Mascaramento de PII, síntese de dados de teste, conversão, reformatação, conversão, análise e trabalhos de relatório.
Arquitetura de tempo de execução
Agora que você conhece os nomes dos produtos, vamos abordar como eles se relacionam e são implantados.
O software IRI geralmente opera em um modelo cliente/servidor, onde os trabalhos compatíveis com SortCL são definidos em um ambiente de edição de front-end como IRI Workbench ou outro editor de texto, ou por meio da API IRI. Esses trabalhos geralmente são executados no programa de back-end SortCL em máquinas Linux, Unix ou Windows (físicas ou virtuais), no local ou na nuvem:
Alguns trabalhos com script na sintaxe SortCL também podem ser executados sem modificação diretamente no Map Reduce 2, Spark, Spark Stream, Story ou Tez para licenciados da edição Voracity Grid (VGrid) para Hadoop.
Observe, no entanto, que, ao contrário de muitos outros programas ETL e de mascaramento de dados, não há um servidor CoSort onde o SortCL deve ser executado ou gerenciado centralmente. O executável leve SortCL pode ser executado em qualquer lugar de um Raspberry Pi a um mainframe z/Linux.
Portanto, é comum, de acordo com o diagrama acima, que os sites tenham instâncias SortCL de teste e controle de qualidade instaladas em laptops de desenvolvedores executando o IRI Workbench, bem como em servidores de banco de dados ou arquivos centralizados para otimizar o desempenho. Este FAQ aborda a questão de onde licenciar o SortCL no contexto de produtos de mascaramento de dados IRI, por exemplo, e como fatorar seus custos de acordo.
Se você tiver alguma dúvida sobre qual produto IRI você precisa ou como melhor implementá-lo no hardware que você possui (ou planeja provisionar), entre em contato com seu representante IRI.
