Conceitos
O que é o Banco de Dados Operacional Cloudera (COD)?
O Banco de Dados Operacional é um banco de dados relacional e não relacional construído no Apache HBase e projetado para oferecer suporte a aplicativos OLTP, que usam big data.
O banco de dados operacional no Cloudera Data Platform possui os seguintes componentes:
- Apache Phoenix fornece um modelo relacional que facilita a escalabilidade massiva. Ele aproveita a escalabilidade e a resiliência do Apache HBase.
- O Apache HBase fornece um modelo não relacional projetado para escalabilidade massiva, para que você possa armazenar quantidades ilimitadas de dados em uma única plataforma e lidar com as demandas crescentes de fornecimento de dados.
- O Apache ZooKeeper fornece um serviço de configuração distribuído, um serviço de sincronização e um registro de nomenclatura.
- O Apache Knox Gateway fornece segurança de perímetro para que a empresa possa estender o acesso com confiança a novos usuários.
- O Apache HDFS é usado para escrever os WALs do Apache HBase (e HBase HFiles em alguns casos).
- Os armazenamentos de objetos, como Amazon S3 e Microsoft ADLS Gen2, são usados para armazenar os HFiles do Apache HBase.
- Shared Data Experience (SDX) é usado para recursos de segurança e governança. As políticas de segurança e governança são definidas uma vez e aplicadas em todos os dados e cargas de trabalho. Assim como o próprio CDP, o SDX é construído em projetos de código aberto da comunidade, com o Apache Ranger e o Apache Atlas em destaque.
O Atlas fornece recursos abertos de gerenciamento e governança de metadados para criar um catálogo de todos os ativos e também classificar e controlar esses ativos. A camada SDX do CDP aproveita todo o espectro do Atlas para rastrear e controlar automaticamente todos os ativos de dados.
O Ranger fornece gerenciamento de chaves de segurança, com um login separado para administradores de chaves usando o serviço Ranger KMS. O Apache Ranger também fornece recursos de segurança muito necessários, como mascaramento de coluna e filtragem de linha prontos para uso. Outro fator importante é que as políticas de acesso no Ranger podem ser personalizadas com contexto dinâmico usando diferentes atributos como 'região geográfica' ou 'hora do dia'.
- IDBroker é uma API REST criada como parte dos serviços de autenticação do Apache Knox. Ele permite que um usuário autenticado e autorizado troque um conjunto de credenciais ou um token por tokens de acesso de fornecedor de nuvem.
Serviço de dados do banco de dados operacional CDP
O CDP Operational Database (COD) é um banco de dados operacional de dimensionamento automático em tempo real desenvolvido pelo Apache HBase e Apache Phoenix. É um serviço de dados executado na Cloudera Data Platform (CDP). Você pode acessar o COD diretamente do seu console CDP. O COD permite que você crie um novo banco de dados operacional com um único clique e dimensione automaticamente com base em sua carga de trabalho.
A seguir estão os principais passos para começar com COD:
- Crie um banco de dados em um ambiente usando um único clique e um banco de dados deve estar ativo e disponível em alguns minutos.
- Configure sua senha de carga de trabalho. Para mais informações, clique aqui.
- Baixe e instale Apache Maven, Java, Python 3.8.
- Instale o CDP Client em sua máquina. Para mais informações, clique aqui.
- Siga as instruções no repositório de exemplos para fazer alterações em seu maven settings-security.xml, settings.xml e pom.xml.
- Crie e execute os aplicativos.
Apache HBase
O HBase é uma arquitetura de armazenamento de dados orientada a colunas formada sobre o HDFS para superar suas limitações. Ele aproveita os recursos básicos do HDFS e se baseia nele para fornecer escalabilidade ao lidar com um grande volume de solicitações de leitura e gravação em tempo real. Embora a arquitetura HBase seja um banco de dados NoSQL, ela facilita o processo de manutenção dos dados distribuindo-os uniformemente pelo cluster. Isso agiliza o acesso e a alteração de dados no modelo de dados do HBase. Saiba mais sobre o Apache HBase.
Apache Phoenix
Apache Phoenix é uma interface RDBMS e ANSI SQL. O Apache Phoenix implementa otimizações de práticas recomendadas para permitir que engenheiros de software desenvolvam aplicativos orientados a dados de última geração baseados em HBase. Usando o Phoenix, você pode criar e interagir com tabelas na forma de instruções DDL/DML típicas usando a API JDBC padrão, ODBC e a API Phoenix DB.
A Fênix oferece:
- Suporte a API SQL e JDBC
- Suporte para limite tardio, schema-on-read
- Acesso a dados armazenados e produzidos em outros componentes, como Apache Spark e Apache Hive
Saiba mais sobre o Apache Phoenix.
Procedimento
Como criar um banco de dados operacional
Você pode criar um banco de dados operacional em seu ambiente registrado usando o CDP Operational Database (COD).
Pré-requisitos
- Você deve estar conectado ao ambiente COD como um ODAdmin.
- Certifique-se de que você está autorizado a criar um banco de dados.
Passos
- Faça login na interface da web do CDP. Por exemplo, console CDP.
- Selecione o Banco de Dados Operacional.
- Na interface da web COD, clique em Criar banco de dados.
- Selecione o ambiente da lista na qual você deseja ter o banco de dados.
- Forneça um nome para o banco de dados no campo Nome do banco de dados.
- Clique em Criar banco de dados.
Resultado
É exibida uma página de informações que mostra o status do banco de dados. Seu novo banco de dados está pronto para ser usado assim que seu status se tornar Disponível.
Demonstração
Como gerenciar uma conexão de banco de dados
Depois de criar um banco de dados operacional e ele estiver disponível, você poderá gerenciar as conexões do banco de dados.
Pré-requisitos
- Certifique-se de que um banco de dados esteja ativo e disponível.
- Você está autorizado a fazer alterações no banco de dados.
Passos
- Na interface da web COD, selecione o banco de dados para o qual você deseja gerenciar as conexões.
- Em Conectar, entre em cada guia e modifique os parâmetros.
Referências
- Documentação do Cloudera sobre como criar um banco de dados COD
- Banco de dados operacional no CDP
Se você estiver interessado em experimentar o CDP Public Cloud e o Operational Database, experimente nosso Teste de avaliação .
