MongoDB
 sql >> Base de Dados >  >> NoSQL >> MongoDB

MongoDB - Estrutura de Agregação (Contagem Total)


Existe uma solução usando push and slice:https://stackoverflow.com/a/39784851/4752635 (@emaniacs menciona isso aqui também).

Mas eu prefiro usar 2 consultas. A solução com o push de $$ROOT e o uso de $slice atinge a limitação de memória de documentos de 16 MB para grandes coleções. Além disso, para grandes coleções, duas consultas juntas parecem ser executadas mais rapidamente do que aquela com push de $$ROOT. Você pode executá-los em paralelo também, então você é limitado apenas pela mais lenta das duas consultas (provavelmente aquela que classifica).
  1. Primeiro para filtrar e depois agrupar por ID para obter o número de elementos filtrados. Não filtre aqui, é desnecessário.
  2. Segunda consulta que filtra, classifica e pagina.

Eu resolvi com esta solução usando 2 consultas e estrutura de agregação (observação - eu uso node.js neste exemplo):
var aggregation = [
  {
    // If you can match fields at the begining, match as many as early as possible.
    $match: {...}
  },
  {
    // Projection.
    $project: {...}
  },
  {
    // Some things you can match only after projection or grouping, so do it now.
    $match: {...}
  }
];


// Copy filtering elements from the pipeline - this is the same for both counting number of fileter elements and for pagination queries.
var aggregationPaginated = aggregation.slice(0);

// Count filtered elements.
aggregation.push(
  {
    $group: {
      _id: null,
      count: { $sum: 1 }
    }
  }
);

// Sort in pagination query.
aggregationPaginated.push(
  {
    $sort: sorting
  }
);

// Paginate.
aggregationPaginated.push(
  {
    $limit: skip + length
  },
  {
    $skip: skip
  }
);

// I use mongoose.

// Get total count.
model.count(function(errCount, totalCount) {
  // Count filtered.
  model.aggregate(aggregation)
  .allowDiskUse(true)
  .exec(
  function(errFind, documents) {
    if (errFind) {
      // Errors.
      res.status(503);
      return res.json({
        'success': false,
        'response': 'err_counting'
      });
    }
    else {
      // Number of filtered elements.
      var numFiltered = documents[0].count;

      // Filter, sort and pagiante.
      model.request.aggregate(aggregationPaginated)
      .allowDiskUse(true)
      .exec(
        function(errFindP, documentsP) {
          if (errFindP) {
            // Errors.
            res.status(503);
            return res.json({
              'success': false,
              'response': 'err_pagination'
            });
          }
          else {
            return res.json({
              'success': true,
              'recordsTotal': totalCount,
              'recordsFiltered': numFiltered,
              'response': documentsP
            });
          }
      });
    }
  });
});