- Você absolutamente não pode misturar versões das versões Hadoop-common, hadoop-aws, aws-s3-sdk e jackson do que tudo espera, ou você verá rastreamentos de pilha.
- E é tudo de código aberto, portanto, se você D/L todos os JARs de origem localmente, seu IDE o ajudará a encontrar o que está causando o rastreamento de pilha. Isso é o que todos nós fazemos . Não é mágico, IDEs modernos (intellij IDEA) ainda têm depuração de pilha especial.
Este está chegando porque o valor de
fs.s3a.multipart.size
definido no /core-default.xml
do hadoop-common recurso é 100M, que veio com HADOOP-13680
e os números de manipulação de análise de intervalo como "100M" em vez de 104857600 . Este rastreamento de pilha diz "configuração do Hadoop 2.8+" Você pode tentar definir a propriedade em suas configurações para esse valor numérico, mas é um sinal de aviso de que as versões dos JARs estão fora de sincronia e você provavelmente obterá apenas algumas linhas antes que algo mais seja interrompido.
Correção:certifique-se de que
hadoop-common.jar
e hadoop-aws.jar
estão em sincronia. Parece que você tem o jackson e o aws alinhados, embora o jackson seja complexo o suficiente para que você nunca possa tomar isso como garantido.