O comentário de Deefour entendeu! Foi assim que instalei o PostgreSQL.
Eu uso o instalador de um clique do PostgreSQL que acho que não configura o libpq corretamente para o Mountain Lion.
O Homebrew, por outro lado, irá construí-lo corretamente para o sistema operacional.
Depois de instalar o postgres através do homebrew
brew install postgresql
Consegui instalar minha gem sem problemas.
Obrigado a todos!
