Estou exatamente na mesma situação, segui exatamente os mesmos passos e tive o mesmo problema.
O que funcionou para mim foi:
Desinstalando :
sudo service mongod stop
sudo apt-get purge mongodb-org*
NÃO remova diretórios de dados - todos os seus dados serão perdidos se fizer isso.
Nota:Chamando
sudo apt-get purge mongodb-org*
exclui o mongod.conf
Arquivo. Caso você queira manter este arquivo após a atualização, certifique-se de criar uma cópia de backup dele e usá-lo após a instalação da nova versão. Em seguida, instale o mongodb com:
sudo apt-get install -y mongodb-org
Isso pressupõe que você já executou as etapas de instalação anteriores (importar a chave pública, criar um arquivo de lista, recarregar o banco de dados de pacotes local) conforme declarado.