Instruções:indexar dados do S3 usando o CDP Data Hub

• Você já tem uma conta CDP e tem direitos de usuário avançado ou administrador para o ambiente no qual planeja ativar este serviço.
  Se você não tiver uma conta CDP AWS, entre em contato com seu representante Cloudera favorito ou inscreva-se para uma avaliação do CDP aqui.
• Você tem ambientes e identidades mapeados e configurados. Mais explicitamente, tudo o que você precisa é ter o mapeamento do usuário do CDP para uma função da AWS que conceda acesso ao bucket s3 específico do qual você deseja ler (e gravar).
• Você tem uma senha de carga de trabalho (FreeIPA) já definida.
• Você tem um cluster DDE em execução. Você também pode encontrar mais informações sobre como usar modelos no CDP Data Hub aqui.
• Você tem acesso CLI a esse cluster.
• A porta SSH está aberta na AWS quanto ao seu endereço IP. Você pode obter o endereço IP público de um dos nós do Solr nos detalhes do cluster do Datahub. Aprenda aqui como fazer SSH para um cluster da AWS.
• Você tem um arquivo de log em um bucket do S3 que pode ser acessado pelo usuário (/sample.log neste exemplo). Se você não tiver um, aqui está um link para o que usamos.

Fluxo de trabalho

Crie uma coleção para armazenar seu índice

kinit

cat /etc/solr/conf/solr-env.sh

export SOLR_ZK_ENSEMBLE=zk01.example.com:2181,zk02.example.com:2181,zk03.example.com:2181/solr

solrctl config --create my-own-logs-config schemalessTemplate -p immutable=false

solrctl collection --create my-own-logs -s 1 -c my-own-logs-config

Indexar seus dados

kinit

curl --negotiate -u: "https://<SOLR_HOST>:<SOLR_PORT>/solr/admin?op=GETDELEGATIONTOKEN" --insecure > tokenFile.txt

SOLR_LOCATOR : {
  # Name of solr collection
  collection : my-own-logs
  #zk ensemble
  zkHost : <SOLR_ZK_ENSEMBLE>
}
morphlines : [
  {
    id : loadLogs
    importCommands : ["org.kitesdk.**", "org.apache.solr.**"]
    commands : [
      {
        readMultiLine {
          regex : "(^.+Exception: .+)|(^\\s+at .+)|(^\\s+\\.\\.\\. \\d+ more)|(^\\s*Caused by:.+)"
          what : previous
          charset : UTF-8
        }
      }

      { logDebug { format : "output record: {}", args : ["@{}"] } }
      {
        loadSolr {
          solrLocator : ${SOLR_LOCATOR}
        }
      }
    ]
  }
]

log4j.rootLogger=INFO, A1
# A1 is set to be a ConsoleAppender.
log4j.appender.A1=org.apache.log4j.ConsoleAppender
# A1 uses PatternLayout.
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n

aws s3 ls s3://<S3_BUCKET>/sample.log

export myDriverJarDir=/opt/cloudera/parcels/CDH/lib/solr/contrib/crunch
export myDependencyJarDir=/opt/cloudera/parcels/CDH/lib/search/lib/search-crunch
export myDriverJar=$(find $myDriverJarDir -maxdepth 1 -name 'search-crunch-*.jar' ! -name '*-job.jar' ! -name '*-sources.jar')
export myDependencyJarFiles=$(find $myDependencyJarDir -name '*.jar' | sort | tr '\n' ',' | head -c -1)
export myDependencyJarPaths=$(find $myDependencyJarDir -name '*.jar' | sort | tr '\n' ':' | head -c -1)
export myJVMOptions="-DmaxConnectionsPerHost=10000 -DmaxConnections=10000 -Djava.io.tmpdir=/tmp/dir/ "
export myResourcesDir="<RESOURCE_DIR>"
export HADOOP_CONF_DIR="/etc/hadoop/conf"

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --jars $myDependencyJarFiles \
  --executor-memory 1024M \
  --conf "spark.executor.extraJavaOptions=$myJVMOptions" \
  --driver-java-options "$myJVMOptions" \
  --class org.apache.solr.crunch.CrunchIndexerTool \
  --files $(ls $myResourcesDir/log4j.properties),$(ls $myResourcesDir/read-log-morphline.conf),tokenFile.txt \
  $myDriverJar \
  -Dhadoop.tmp.dir=/tmp  \
  -DtokenFile=tokenFile.txt \
  --morphline-file read-log-morphline.conf   \
  --morphline-id loadLogs   \
  --pipeline-type spark   \
  --chatty   \
  --log4j log4j.properties \
  s3a://<S3_BUCKET>/sample.log

WARN metadata.Hive: Failed to register all functions.

org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransportException

Exiba seu índice

Resumo