Provavelmente é porque launchctl está gerenciando sua instância mongod. Se você deseja iniciar e encerrar a instância do mongod, descarregue-a primeiro:
launchctl unload -w ~/Library/LaunchAgents/org.mongodb.mongod.plist
Em seguida, inicie o mongod manualmente:
mongod -f path/to/mongod.conf --fork
Você pode encontrar sua localização mongod.conf em
~/Library/LaunchAgents/org.mongodb.mongod.plist . Depois disso,
db.shutdownServer() funcionaria muito bem. Adicionado em 22 de fevereiro de 2014:
Se você tem o mongodb instalado via homebrew, o homebrew tem um prático
brew services comando. Para mostrar os serviços em execução atuais:brew services list Para iniciar o mongodb:
brew services start mongodb-community Para parar o mongodb se ele já estiver em execução:
brew services stop mongodb-community Atualizar *
Como edufinn apontou no comentário,
brew services agora está disponível como comando definido pelo usuário e pode ser instalado com o seguinte comando:brew tap gapple/services . 
