De acordo com este problema do Github, pode ser possível obter vários bancos de dados usando scripts bash que você terá que passar no seu Dockerfile

EDITAR :

Para criar vários bancos de dados, você pode usar o seguinte script:

https://github.com/mrts/docker-postgresql-multiple-databases

ou

https://github.com/MartinKaburu/docker-postgresql-multiple-databases

O que sugere que você tenha que clonar um dos repositórios git acima e montá-lo como um volume para:/docker-entrypoint-initdb.d, então você poderá passar vários nomes de banco de dados usando:POSTGRES_MULTIPLE_DATABASES variável