Você provavelmente está executando uma versão de servidor do MongoDB 3.0 ou superior ( série 3.x atual como escrita ), que tem um mecanismo de autenticação de segurança atualizado ( SCRAM-SHA-1 do MONGODB-CR ) que não é compatível com versões de driver mais antigas que não o suportam.

O atual rmongodb versão do pacote ( versão 1.8.0 da escrita ), este driver é baseado na implementação do driver C legado que não é compatível com os novos métodos de autenticação. Como também é observado nos problemas nesse repositório , o autor observa essa dependência de driver e afirma que o pacote exigiria uma reescrita para utilizar a nova API que oferece suporte ao novo método de autenticação.

Até o momento, não parece haver nenhum movimento para fazer essas alterações, além de estabelecer um nova filial que não está atualmente pronto para lançamento.

Suas opções, portanto, atualmente são:

• Trabalhe sem autenticação sempre que possível
• Faça downgrade da versão do servidor MongoDB para uma que suporte a autenticação antiga
• Procure outras implementações de driver que suportem a nova autenticação.

Portanto, o próprio "rmongodb" não pode se conectar atualmente aos servidores MongoDB 3.x. Aplique uma das outras opções e/ou contribua você mesmo para o repositório se puder acelerar seu desenvolvimento para a próxima versão com suporte total à autenticação.

Outras possíveis alternativas de driver estão vinculadas ou discutidas no problema vinculado nesta resposta.