Seu arquivo de fonte de dados deve ter:

"host": "database" ...

já que em docker-compose.yml você vincula o contêiner mongo ao loopback como database , então não é localhost . Lembre-se, você está tentando se conectar ao mongo do contêiner do docker de loopback. Além disso, você deve garantir que o mongo seja iniciado antes do loopback, então adicione depends_on: database para o serviço de loopback em docker-compose.yml.