Obrigado pela ajuda de todos!

Acontece que era um conflito iptable. Duas regras listando a porta aberta (o que resultou em uma porta fechada).

No entanto, um dos comentários de aka e outro de manu2013 foram problemas que eu teria encontrado, se não fosse o conflito.

Então! Lembre-se sempre de editar o /etc/mongod.conf arquivo e defina seu bind_ip = 0.0.0.0 para fazer conexões externamente.

Além disso, certifique-se de que você não tenha regras conflitantes em seu iptable para a porta que o mongo deseja (veja o link no site do mongodb para configurar seu iptables corretamente).