MongoDB
 sql >> Base de Dados >  >> NoSQL >> MongoDB

Processo MongoDB NodeJS sem memória


Se o seu servidor MongoDB for 2.6 ou mais recente, seria melhor aproveitar os comandos de gravação API em massa que permitem a execução de inserção em massa operações que são simplesmente abstrações no servidor para facilitar a construção de operações em massa. Essas operações em massa vêm principalmente em dois sabores:
  • Operações em massa encomendadas . Essas operações executam todas as operações em ordem e eliminam o erro no primeiro erro de gravação.
  • Operações em massa não ordenadas . Essas operações executam todas as operações em paralelo e agregam todos os erros. As operações em massa não ordenadas não garantem a ordem de execução.

Observe que, para servidores mais antigos que 2.6, a API converterá as operações. No entanto, não é possível converter 100%, portanto, pode haver alguns casos extremos em que não é possível relatar corretamente os números corretos.

No seu caso, você pode implementar a API em massa assim:
var MongoClient = require('mongodb').MongoClient;

MongoClient.connect("mongodb://localhost:27017/course", function(err, db) {
    // Handle error
    if(err) throw err;

    // Get the collection and bulk api artefacts
    var col = db.collection('students'),
        types = ['exam', 'quiz', 'homework', 'homework'],
        bulk = col.initializeOrderedBulkOp(), // Initialize the Ordered Batch
        counter = 0;

    // Drop the collection
    col.drop();


    // Representing a long loop with 1 Million Records
    for (var i = 0; i < 1000000; i++) {
        var scores = [],
            class_id = 0,
            record = {};

        // Each student taking 10 classes
        for (var class_counter = 0; class_counter < 10; class_counter ++) {

            // Each Class has 4 grades
            // and each class has 4 grades
            for (var j = 0; j < 4; j++) {
                scores.push({ 'type': types[j], 'score': Math.random()*100 });
            }

            // there are 500 different classes that they can take
            class_id = Math.floor(Math.random() * 501); // get a class id between 0 and 500    

            record['student_id'] = i;
            record['scores'] = scores;
            record['class_id'] = class_id;
        }

        bulk.insert(record);            
        counter++;

        if (counter % 1000 == 0 ) {
            bulk.execute(function(err, result) {  
                // re-initialise batch operation           
                bulk = col.initializeOrderedBulkOp();
            });
        }
    }

    if (counter % 1000 != 0 ){
        bulk.execute(function(err, result) {
            // do something with result
            db.close();
        }); 
    } 
});

-- ATUALIZAÇÃO --

Parabéns a @MarkusWMahlberg, por gerar conteúdo fictício, você pode experimentar o pacote mgenerate .