O que você está procurando é launchctl limit maxfiles .
Para alterá-lo, você precisa executar o comando launchctl limit maxfiles 1024 2048 por exemplo.
Para alterar permanentemente esses valores, você precisa criar /etc/launchctl.conf e definir os valores necessários (consulte aqui para detalhes) ou adicione o comando mencionado acima ao seu ~/.bash_profile.
Ou você pode criar um script que definirá o limite e, em seguida, iniciará o mongo