Acho que você só precisa de COUNT(DISTINCT post_id) FROM votes .

Consulte a seção "4.2.7. Expressões Agregadas" em http://www.postgresql.org/docs/current/static/sql-expressions.html.

EDIT:Corrigido meu erro descuidado pelo comentário de Erwin.