A mensagem que você está recebendo é uma indicação clara de que falta algo para a instalação correta dessa gem:
Não foi possível criar o Makefile por algum motivo, provavelmente falta de bibliotecas e/ou cabeçalhos necessários. Verifique o arquivo mkmf.log para obter mais detalhes. Pode ser que você precise de opções de configuração.
Não há versão nativa do Windows da última versão do pg (0.10.0) lançada ontem, mas se você instalar o 0.9.0, ele deverá instalar os binários sem problemas.
De qualquer forma, se você deseja instalar a gem, você precisa de um ambiente de construção instalado. Se você estiver usando o RubyInstaller, precisará do DevKit
A instalação da gem exigirá apenas que você forneça opções adicionais para a instalação da gem (como
--with-pg-dir ) subst X: "C:\Program Files (x86)\PostgreSQL\8.3"
gem install pg -- --with-pg-dir=X:
subst X: /D
