BSON é a codificação binária de documentos semelhantes a JSON que o MongoDB usa ao armazenar documentos em coleções. Ele adiciona suporte para tipos de dados como Data e binário que não são compatíveis com JSON.
Na prática, você não precisa saber muito sobre BSON ao trabalhar com MongoDB, basta usar os tipos nativos de sua linguagem e os tipos fornecidos (por exemplo, ObjectId) de seu driver ao construir documentos e eles serão mapeados no tipo BSON apropriado pelo driver.