MongoDB
 sql >> Base de Dados >  >> NoSQL >> MongoDB

Como importar com eficiência muitos arquivos JSON grandes diretamente do S3 para o MongoDB


Você não precisa armazenar arquivos intermediários, você pode canalizar a saída do arquivo s3 para stdout e obter entrada para mongoimport de stdin.

Seu comando completo seria algo como:
s3cmd get s3://<yourFilename> - | mongoimport -d <dbName> -c <collectionName>

observe o - que diz enviar o arquivo para stdout em vez de um nome de arquivo.