Você pode agrupar condições com parênteses. Quando você está verificando se um campo é igual a outro, você quer usar
OR
. Por exemplo WHERE a='1' AND (b='123' OR b='234')
. SELECT u.*
FROM rooms AS u
JOIN facilities_r AS fu
ON fu.id_uc = u.id_uc AND (fu.id_fu='4' OR fu.id_fu='3')
WHERE vizibility='1'
GROUP BY id_uc
ORDER BY u_premium desc, id_uc desc