Como usar a modelagem de dados do MongoDB para melhorar as operações de taxa de transferência

O que é modelagem de dados

O processo de modelagem de dados no MongoDB

• Padrões de recuperação de dados
• Balanceamento das necessidades do aplicativo como:consultas, atualizações e processamento de dados
• Recursos de desempenho do mecanismo de banco de dados escolhido
• A estrutura inerente dos dados em si

Estrutura do documento MongoDB

• Dados incorporados
• Dados de referência

Dados incorporados

{ "_id" : ObjectId("5b98bfe7e8b9ab9875e4c80c"),
     "StudentName" : "George  Beckonn",
        "Settings" : {
        "location" : "Embassy",
  "ParentPhone" : 724765986
        "bus" : "KAZ 450G",
        "distance" : "4",
        "placeLocation" : {
            "lat" : -0.376252,
            "lng" : 36.937389
        }
    }
}

db.students.findOne({StudentName : "George  Beckonn"})

Forças da incorporação

1. Aumento da velocidade de acesso aos dados:para uma melhor taxa de acesso aos dados, a incorporação é a melhor opção, já que uma única operação de consulta pode manipular dados no documento especificado com apenas uma única pesquisa no banco de dados.
2. Inconsistência de dados reduzida:durante a operação, se algo der errado (por exemplo, uma desconexão da rede ou falha de energia), apenas alguns poucos documentos podem ser afetados, pois os critérios geralmente selecionam um único documento.
3. Redução das operações CRUD. Isso quer dizer que as operações de leitura na verdade superam as gravações. Além disso, é possível atualizar dados relacionados em uma única operação de gravação atômica. Ou seja, para os dados acima, podemos atualizar o número de telefone e também aumentar a distância com esta única operação:

   db.students.updateOne({StudentName : "George  Beckonn"}, {
     $set: {"ParentPhone" : 72436986},
     $inc: {"Settings.distance": 1}
   })

Deficiências da incorporação

1. Tamanho do documento restrito. Todos os documentos no MongoDB são restritos ao tamanho BSON de 16 megabytes. Portanto, o tamanho geral do documento junto com os dados incorporados não deve ultrapassar esse limite. Caso contrário, para alguns mecanismos de armazenamento, como o MMAPv1, os dados podem crescer e resultar em fragmentação de dados como resultado da degradação do desempenho de gravação.
2. Duplicação de dados:várias cópias dos mesmos dados dificultam a consulta dos dados replicados e pode levar mais tempo para filtrar documentos incorporados, superando a principal vantagem da incorporação.

Notação de ponto

db.users.find({'Settings.location': 'Embassy'})

Dados de referência

{ "_id" : xyz,
     "StudentName" : "George  Beckonn",
     "ParentPhone" : 075646344,
}

{   
     "id" :xyz,
     "location" : "Embassy",
     "bus" : "KAZ 450G",
     "distance" : "4",
     "lat" : -0.376252,
     "lng" : 36.937389
    
}

//fetch the id of a matching student
var studentId = db.students.findOne({"StudentName" : "George  Beckonn"})._id

//use the id of a matching student to update the ParentPhone in the Users document
db.students.updateOne({_id : studentId}, {
  $set: {"ParentPhone" : 72436986},
 })
//use the id of a matching student to update the distance in settings document

db.students.updateOne({id : studentId}, {
   $inc: {"distance": 1}
})

Forças da referência

1. Consistência de dados. Para cada documento, uma forma canônica é mantida, portanto, as chances de inconsistência de dados são muito baixas.
2. Integridade de dados aprimorada. Devido à normalização, é fácil atualizar os dados independentemente da duração da operação e, portanto, garantir dados corretos para cada documento sem causar confusão.
3. Melhor utilização do cache. Documentos canônicos acessados ​​com frequência são armazenados no cache em vez de documentos incorporados que são acessados ​​algumas vezes.
4. Utilização eficiente de hardware. Ao contrário da incorporação, que pode resultar na superação do documento, a referência não promove o crescimento do documento, portanto, reduz o uso de disco e RAM.
5. Flexibilidade aprimorada, especialmente com um grande conjunto de subdocumentos.
6. Gravações mais rápidas.

Deficiências da referência

1. Várias pesquisas:como temos que procurar em vários documentos que correspondam aos critérios, aumenta o tempo de leitura ao recuperar do disco. Além disso, isso pode resultar em falhas de cache.
2. Muitas consultas são emitidas para realizar alguma operação, portanto, os modelos de dados normalizados exigem mais viagens de ida e volta ao servidor para concluir uma operação específica.

Normalização de dados

1. Modelos de dados normalizados

   
   Conforme aplicado em dados de referência, a normalização divide os dados em várias coleções com referências entre as novas coleções. Uma única atualização de documento será emitida para a outra coleção e aplicada de acordo com o documento correspondente. Isso fornece uma representação de atualização de dados eficiente e é comumente usado para dados que mudam com bastante frequência.
   

2. Modelos de dados desnormalizados

   
   Os dados contêm documentos incorporados, tornando as operações de leitura bastante eficientes. No entanto, está associado a mais uso de espaço em disco e também a dificuldades para manter a sincronização. O conceito de desnormalização pode ser bem aplicado a subdocumentos cujos dados não mudam com frequência.
   

Esquema MongoDB

Esquema flexível

{ "_id" : ObjectId("5b98bfe7e8b9ab9875e4c80c"),
     "StudentName" : "George  Beckonn",
     "ParentPhone" : 75646344,
     "age" : 10
}
{ "_id" : ObjectId("5b98bfe7e8b9ab98757e8b9a"),
     "StudentName" : "Fredrick  Wesonga",
     "ParentPhone" : false,
}

Esquema rígido

Tipos de dados de esquema

• Sequência
• Número
• Booleano
• Data
• Tampão
• ObjectID
• Matriz
• Misto
• Decimal128
• Mapa

var userSchema = new mongoose.Schema({
    userId: Number,
    Email: String,
    Birthday: Date,
    Adult: Boolean,
    Binary: Buffer,
    height: Schema.Types.Decimal128,
    units: []
   });

var user = mongoose.model(‘Users’, userSchema )
var newUser = new user;
newUser.userId = 1;
newUser.Email = “[email protected]”;
newUser.Birthday = new Date;
newUser.Adult = false;
newUser.Binary = Buffer.alloc(0);
newUser.height = 12.45;
newUser.units = [‘Circuit network Theory’, ‘Algerbra’, ‘Calculus’];
newUser.save(callbackfunction);

Validação do esquema

db.createCollection("students", {
   validator: {$jsonSchema: {
         bsonType: "object",
         required: [ "name", "year", "major", "gpa" ],
         properties: {
            name: {
               bsonType: "string",
               description: "must be a string and is required"
            },
            gender: {
               bsonType: "string",
               description: "must be a string and is not required"
            },
            year: {
               bsonType: "int",
               minimum: 2017,
               maximum: 3017,
               exclusiveMaximum: false,
               description: "must be an integer in [ 2017, 2020 ] and is required"
            },
            major: {
               enum: [ "Math", "English", "Computer Science", "History", null ],
               description: "can only be one of the enum values and is required"
            },
            gpa: {
               bsonType: [ "double" ],
               minimum: 0,
               description: "must be a double and is required"
            }
         }
      
   }})

db.students.insert({
   name: "James Karanja",
   year: NumberInt(2016),
   major: "History",
   gpa: NumberInt(3)
})

WriteResult({
   "nInserted" : 0,
   "writeError" : {
      "code" : 121,
      "errmsg" : "Document failed validation"
   }
})

db.createCollection( "contacts",
   { validator: { $or:
      [
         { phone: { $type: "string" } },
         { email: { $regex: /@mongodb\.com$/ } },
         { status: { $in: [ "Unknown", "Incomplete" ] } }
      ]
   }
} )

Níveis de validação do esquema

1. Estrita:este é o nível de validação padrão do MongoDB e aplica regras de validação a todas as inserções e atualizações.
2. Moderado:as regras de validação são aplicadas durante inserções, atualizações e documentos já existentes que atendem apenas aos critérios de validação.
3. Desativado:este nível define as regras de validação para um determinado esquema como nulo, portanto, nenhuma validação será feita nos documentos.

db.clients.insert([
{
    "_id" : 1,
    "name" : "Brillian",
    "phone" : "+1 778 574 666",
    "city" : "Beijing",
    "status" : "Married"
},
{
    "_id" : 2,
    "name" : "James",
    "city" : "Peninsula"
}
]

db.runCommand( {
   collMod: "test",
   validator: { $jsonSchema: {
      bsonType: "object",
      required: [ "phone", "name" ],
      properties: {
         phone: {
            bsonType: "string",
            description: "must be a string and is required"
         },
         name: {
            bsonType: "string",
            description: "must be a string and is required"
         }
      }
   } },
   validationLevel: "moderate"
} )

Ações de validação do esquema

1. Erro:esta é a ação padrão do MongoDB, que rejeita qualquer inserção ou atualização caso viole os critérios de validação.
2. 
   Aviso:Esta ação registrará a violação no log do MongoDB, mas permite que a operação de inserção ou atualização seja concluída. Por exemplo:
   

   db.createCollection("students", {
      validator: {$jsonSchema: {
            bsonType: "object",
            required: [ "name", "gpa" ],
            properties: {
               name: {
                  bsonType: "string",
                  description: "must be a string and is required"
               },
         
               gpa: {
                  bsonType: [ "double" ],
                  minimum: 0,
                  description: "must be a double and is required"
               }
            }
         
      },
   validationAction: “warn”
   })

   
   Se tentarmos inserir um documento como este:
   

   db.students.insert( { name: "Amanda", status: "Updated" } );

   
   O gpa está ausente, independentemente do fato de ser um campo obrigatório no design do esquema, mas como a ação de validação foi definida para avisar, o documento será salvo e uma mensagem de erro será registrada no log do MongoDB.