MongoDB
 sql >> Base de Dados >  >> NoSQL >> MongoDB

MongoDB:mongoimport perde conexão ao importar arquivos grandes


Eu acho que o problema é sobre o desempenho, de qualquer maneira que você possa resolver usado:

você pode usar a opção mongoimport -j . Tente incrementar se não funcionar com 4. ou seja, 4,8,16, depende do número de núcleos que você tem em sua CPU.

mongoimport --ajuda

-j, --numInsertionWorkers=número de operações de inserção a serem executadas simultaneamente (o padrão é 1)

mongoimport -d mietscraping -c mails -j 4

ou você pode dividir o arquivo e importar todos os arquivos.

Espero que isso lhe ajude.

olhando um pouco mais, tem um bug em alguma versãohttps://jira.mongodb.org/browse/TOOLS-939aqui outra solução você pode alterar o batchSize, por padrão é 10000, reduza o valor e teste:

mongoimport -d mietscraping -c mails