Mysql
 sql >> Base de Dados >  >> RDS >> Mysql

Hive 1.2 Metastore Service não inicia depois de configurá-lo para armazenamento S3 em vez de HDFS

  1. Você absolutamente não pode misturar versões das versões Hadoop-common, hadoop-aws, aws-s3-sdk e jackson do que tudo espera, ou você verá rastreamentos de pilha.
  2. E é tudo de código aberto, portanto, se você D/L todos os JARs de origem localmente, seu IDE o ajudará a encontrar o que está causando o rastreamento de pilha. Isso é o que todos nós fazemos . Não é mágico, IDEs modernos (intellij IDEA) ainda têm depuração de pilha especial.

Este está chegando porque o valor de fs.s3a.multipart.size definido no /core-default.xml do hadoop-common recurso é 100M, que veio com HADOOP-13680 e os números de manipulação de análise de intervalo como "100M" em vez de 104857600 . Este rastreamento de pilha diz "configuração do Hadoop 2.8+"

Você pode tentar definir a propriedade em suas configurações para esse valor numérico, mas é um sinal de aviso de que as versões dos JARs estão fora de sincronia e você provavelmente obterá apenas algumas linhas antes que algo mais seja interrompido.

Correção:certifique-se de que hadoop-common.jar e hadoop-aws.jar estão em sincronia. Parece que você tem o jackson e o aws alinhados, embora o jackson seja complexo o suficiente para que você nunca possa tomar isso como garantido.