Um determinado banco de dados mongo é dividido em uma série de arquivos BSON em disco, com tamanho crescente de até 2 GB. BSON é seu próprio formato, construído especificamente para MongoDB.
Esses slides devem responder a todas as suas perguntas:
http://www.slideshare.net/mdirolf/inside-mongodb-the-internals-of-an-opensource-database