Você está em um Mac? Se sim - a maneira mais fácil de fazer isso é

1. certifique-se de ter o Xcode instalado (você pode obtê-lo na loja de aplicativos)
2. usar Homebrew
3. brew install postgresql
4. gem uninstall pg
5. qualquer bundle install na raiz do seu aplicativo ou no gem install pg