Inserindo grandes CSVs no MongoDB com Node.js e async.queue

var queue = async.queue(collection.insert.bind(collection), 5);

csv()
.from.path('./input.csv', { columns: true })
.transform(function (data, index, cb) {
    queue.push(data, function (err, res) {
        if (err) return cb(err);
        cb(null, res[0]);
    });
})
.on('error', function (err) {
    res.send(500, err.message);
})
.on('end', function () {
    queue.drain = function() {
        res.send(200);
    };
});

• que usamos a API de stream de node-csv , que garante que os dados sejam processados ​​ao mesmo tempo em que o arquivo é lido:dessa forma, o arquivo inteiro não é lido na memória de uma só vez. A transform manipulador é executado para cada registro;
• que usamos async.queue , que é uma fila de processamento assíncrona:no máximo 5 manipuladores (finalcollection.insert ) são executados em paralelo.