listen_addresses controla em quais IPs o servidor responderá, não de quais IPs o servidor permitirá que as conexões sejam autenticadas. É totalmente razoável e normal usar listen_addresses '*' portanto, o servidor aceitará conexões de entrada em qualquer ip atribuído a uma interface no host do servidor postgresql, enquanto usa pg_hba.conf para controlar o acesso em um nível mais refinado para quais IPs o servidor aceitará logins para bancos de dados e usuários específicos.