Na verdade, não. A cláusula having implica uma agregação, o que significa que você não tem mais as linhas originais.
Acho que você quer o seguinte:
DELETE from UserPredictions
where UserId in (select UserId from UserPredictions group by UserId having count(*) < 500)
