Usar sua consulta não funcionará desde o
where cláusula filtra os user_ids. Usar SELECT * FROM participants
GROUP BY conversation_id
HAVING sum(user_id not in (1,2)) = 0
user_id not in (1,2) retorna 1 se um user_id diferente de 1,2 estão em uma conversa e 0 por outro lado. Então, usando SUM você pode somar todos esses casos. Se nenhum for encontrado, a soma será 0 . 
