Indexação de e-mail usando Cloudera Search e HBase

• O HBase é um meio de armazenamento ideal para o caso de uso específico?
• Os dados já foram ingeridos no HBase?
• Existe algum padrão de acesso que exija que os arquivos sejam armazenados em um formato diferente de HFiles?
• Se o HBase não estiver em execução, haverá recursos de hardware suficientes para ativá-lo?

Compreendendo a replicação do HBase e o Lily HBase Indexer

• A latência de indexação deve ser em tempo quase real (segundos) e ajustável
• O Índice Solr deve eventualmente ser consistente com a tabela HBase enquanto inserções, atualizações e exclusões são aplicadas ao HBase
• O mecanismo de indexação deve ser escalável e tolerante a falhas
• O processo de indexação não pode desacelerar as gravações do HBase

Instalação do Cloudera Search e implantação do Lily HBase Indexer

Como mencionado anteriormente, o Cloudera Search depende da replicação do HBase e, portanto, isso será ativado em seguida. Ative a replicação clicando em Serviço HBase->Configuração->Backup e garantir que “Ativar replicação do HBase” e “Ativar indexação” estejam marcados. Se necessário, salve as alterações e reinicie o serviço HBase.

Para adicionar o Lily HBase Indexer, vá para Serviços->Adicionar serviço , escolha “Keystore Indexer” e adicione-o, apontando-o para a instância do HBase que será usada para processamento de e-mail:

Configurando o Solr

1. Gere um arquivo de configuração schema.xml de amostra:

   $ solrctl --zk localhost:2181/solr \
   instancedir --generate $HOME/emailSearchConfig
   

   
   
2. Edite o arquivo schema.xml em $HOME/emailSearchConfig, com o arquivo de configuração que definirá os campos relevantes ao processamento de e-mail. Uma cópia completa do arquivo pode ser encontrada neste link.
3. Faça upload das configurações do Solr para o ZooKeeper:

   $ solrctl --zk localhost:2181/solr instancedir  \
   --create email_collection $HOME/emailSearchConfig
   

   
   
4. Gere a coleção Solr:

   $ solrctl --zk localhost:2181/solr collection  \
   --create email_collection -s 1
   

   
   

Registrando o Indexador

$ hbase-indexer add-indexer -n myindexer -c indexer-config.xml  \
       -cp solr.zk=localhost:2181/solr  \
       -cp solr.collection=collection1

• -n myindexer – especifica o nome do indexador que será registrado no ZooKeeper
• -c indexer-config.xml – arquivo de configuração que especificará o comportamento do indexador
• -cp solr.zk=localhost:2181/solr  – especifica o local da configuração do ZooKeeper e do Solr. Isso deve ser atualizado com a localização específica do ambiente do ZooKeeper.
• -cp solr.collection=collection1 – especifica qual coleção atualizar. Lembre-se da etapa de configuração do Solr em que criamos a coleção1.

$ hbase-indexer

Usage: hbase-indexer 
where  an option from one of these categories:

TOOLS
  add-indexer
  update-indexer
  delete-indexer
  list-indexers

PROCESS MANAGEMENT
  server           run the HBase Indexer server node

REPLICATION (EVENT PROCESSING) TOOLS
  replication-status
  replication-wait

PACKAGE MANAGEMENT
  classpath        dump hbase CLASSPATH
  version          print the version

 or
  CLASSNAME        run the class named CLASSNAME
Most commands print help when invoked w/o parameters.

Configurando e iniciando o Lily HBase Indexer

A biblioteca de morfinas de e-mail executará as seguintes ações:

1.     Leia os eventos de e-mail do HBase com o comando extractHBaseCells
2. Divida o texto não estruturado em campos com o comando grok
3. Se Message-ID estiver faltando no email, gere-o com o comando generateUUID
4. Converta a data/timestamp em um campo que o Solr entenda, com o comando convertTimestamp
5. Elimine todos os campos extras que não especificamos no schema.xml, com o comando repairUknownSolrFields

O comando extractHBaseCells merece mais atenção, pois é a única diferença na configuração de morphlines do HBase Indexer. Os parâmetros são:

• inputColumn – especifica colunas nas quais se inscrever (pode ser curinga)
• outputFied – o nome do campo para onde os dados são enviados
• tipo – o tipo do campo (é uma string no caso do corpo do email)
• fonte – pode ser valor ou qualificado; value especifica que o valor da célula deve ser indexado

extractHBaseCells {
       mappings : [
        {
          inputColumn : "messages:*"
          outputField : "message"
          type : string
          source : value
          }
        ]
      }

Configurando a tabela de caixa de entrada no HBase

hbase(main):003:0>  create 'inbox', {NAME => 'messages', REPLICATION_SCOPE => 1}

hbase(main):003:0> describe 'inbox'
DESCRIPTION                                                                ENABLED
 {NAME => 'inbox', FAMILIES => [{NAME => 'messages', DATA_BLOCK_ENCODING => ' true
 NONE', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '1', VERSIONS => '3',
 COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => '2147483647', KEEP_DEL
 ETED_CELLS => 'false', BLOCKSIZE => '65536', IN_MEMORY => 'false', ENCODE
 _ON_DISK => 'true', BLOCKCACHE => 'true'}]}

Acessando os dados

#!/bin/bash

#  Query SOLR and return the id field for every document
#  that contains the word resign
query_resp=$(curl -s 'http://spark:8983/solr/collection1_shard1_replica1/select?q=productId&fl=id&wt=csv')

# Loop through results of the previous command,
# and use the id to retrieve the cells from HBase via the HBase REST API
for i in  $query_resp
do
            if [ "$i" != "id" ]; then
            cmd=$(echo $i |awk -F'-' '{print "curl -s http://spark:20550/inbox/" $1 "/" $2 ":"  $3}')
            $cmd -H "Accept: application/x-protobuf "
            fi
done

Conclusão

• Ativar replicação no HBase
• Configurar corretamente o Lily HBase Indexer
• Use Morphlines no Lily HBase Indexer para ajudar nas transformações (sem necessidade de codificação!)