Estou assumindo que o postgres está sendo executado na porta 5432 no contêiner e você deseja expô-lo no host em 5433.
Esta estrofe de portas:
ports:
- "5433:5432"
irá expor o servidor na porta 5433 no host. Você pode se livrar de sua estrofe de exposição existente neste cenário.
Se você deseja apenas expor o serviço para outros serviços declarados no arquivo de composição (e NÃO localhost), basta usar o strophe de exposição e apontá-lo para a porta 5432 já exposta internamente.
Tenha em mente que a diretiva EXPOSE na verdade não faz nada (é mais uma dica para você). A porta 5432 será exposta aos outros serviços declarados no arquivo de composição com ou sem a diretiva.