Você provavelmente tem o caminho errado para
--with-pg-config , verifique se ele está realmente lá. Você pode encontrar o caminho correto para
pg_config com:find /Applications -name pg_config
Na versão mais recente do Postgres.app, o caminho é:
gem install pg -- --with-pg-config=/Applications/Postgres.app/Contents/Versions/9.5/bin/pg_config
