Finalmente encontrei a resposta. O conjunto de réplicas do MongoDB precisa da conta de usuário e do arquivo de chave. Keyfile parece para autenticação entre servidores no conjunto de réplicas, não para fazer login.
Crie o arquivo de chave mongodb no linux, copie para todos os servidores db com o modo
600
intacto:cd
openssl rand -base64 741 > mongodb.key
chmod 600 mongodb.key
arquivo mongod.conf:
replication:
replSetName: rs0
security:
authorization: enabled
keyFile: /home/USERNAME/mongodb.key
Usuário administrador:
(just like in question content)