Você não diz, mas suponho que esteja executando o postgres no MacOS ou no Linux.

A primeira forma (sem -h) se conecta através de um "soquete unix". A segunda forma, com "-h localhost" conecta-se via TCP/IP ao localhost (endereço IP 127.0.0.1).

O Postgres trata esses dois tipos de conexões de maneira diferente - ou pelo menos pode fazê-lo. Se você verificar o arquivo "pgsql/data/pg_hba.conf" para ver quais mecanismos de autenticação estão configurados para os dois tipos de conexões.