O método mais simples não usa uma subconsulta:
SELECT DISTINCT response_set_id
FROM responses
GROUP BY response_set_id, question_id
HAVING COUNT(*) > 1;
Este é um dos pouquíssimos casos em que
select distinct
é usado (apropriadamente) com group by
.