Existe alguma opção para limitar o uso de memória do mongodb?

Se você estiver executando o MongoDB 3.2 ou versão posterior, você pode limitar o wiredTiger cache como acima mencionado.

Em /etc/mongod.conf adicione o wiredTiger papel

...
# Where and how to store data.
storage:
  dbPath: /var/lib/mongodb
  journal:
    enabled: true
  wiredTiger:
    engineConfig:
        cacheSizeGB: 1
...

Isso limitará o tamanho do cache a 1 GB , mais informações em Doc

Isso resolveu o problema para mim, executando o ubuntu 16.04 e mongoDB 3.2

PS:Depois de alterar a configuração, reinicie o daemon mongo.

$ sudo service mongod restart

# check the status
$ sudo service mongod status