Para se conectar ao banco de dados, use o link/alias que você forneceu como um nome de host. Então, seu CMS pode se conectar ao MySQL usando db como nome de host e porta 3306.

Você não poderá se conectar ao localhost ou 127.0.0.1, porque "localhost" é o localhost dentro de cada contêiner , portanto, usar "localhost" no contêiner phpfpm tentará se conectar a um banco de dados MySQL dentro do contêiner phpfpm, mas não há servidor em execução lá.