O MongoDB usa o IO mapeado do sistema operacional como mecanismo de armazenamento. O máximo teórico, se não houver outros limites impostos pelos detalhes da implementação, seria a quantidade de memória virtual que seu sistema operacional pode atribuir ao processo mongod. Em um sistema operacional de 32 bits, você atingirá esse limite muito rapidamente. No Windows, por exemplo, por padrão, metade do espaço de endereço é reservado para o sistema operacional, portanto, sua instância mongod deixará de aceitar gravações em um tamanho de cerca de 2 Gb

Em um sistema operacional de 64 bits, esse máximo teórico é um pouco maior - 64 bits, na ordem de milhões de terabytes, se não me engano. Você atingirá outro limite antes de atingir este.

EDITAR:

Isso pode não ser mais verdade a partir do MongoDB 3.0. O mecanismo de armazenamento WiredTiger funciona de maneira diferente.