Você tem que usar subconsultas:
SELECT x.user,
AVG(x.cnt)
FROM (SELECT user, COUNT(answer) AS cnt
FROM surveyValues
WHERE study='a1'
GROUP BY user) x
GROUP BY x.user
Você não pode envolver um agregado com outro agregado. Você poderia envolver uma análise em um agregado, se o MySQL suportasse funções de análise/classificação/janela ...