Acabei removendo o Dockerfile, adicionando os comandos em um script bash e chamando o script do arquivo docker-compose. Usei um script em vez de um comando no arquivo docker-compose porque estou importando vários arquivos, portanto, vários comandos que não são mostrados no meu exemplo. Eu precisava usar mongo:3.2.6 para fazer isso funcionar. Pode haver outras versões, mas esta funciona com certeza.
docker-compose.yml
version: '3'
services:
mongodb:
image: mongo:3.2.6
ports:
- 27017:27017
mongo_seed:
image: mongo:3.2.6
links:
- mongodb
volumes:
- ./mongo-seed:/mongo-seed
command:
/mongo-seed/import.sh
/mongo-seed/import.sh
#! /bin/bash
mongoimport --host mongodb --db test --collection census --type json --file /mongo-seed/census.json --jsonArray