Você diz que quer a "idade mínima de SOMENTE pessoas com altura <170"
SELECT MIN(age)
FROM YourTable
WHERE height < 170
De fato funcionará como você precisa então!
WHERE limita a pré-agregação de linha, HAVING pode ser usado para filtrar os resultados de agregações. 
