Tente alterar o GROUP BY para
GROUP BY
xf_user_group_relation.user_id, xf_user_group_relation.user_group_id
A maioria dos outros DBMS geraria um erro para essa consulta porque cada coluna na lista SELECT deve ser agregada ou no GROUP BY.
Edit:este é um ótimo exemplo de por que o ANSI-SQL e outros RDBMS não permitem essa sintaxe
