Você pode usar uma expressão em um ORDER BY. Tente isto:
SELECT *
FROM comments
ORDER BY IF(ParentId = 0, Id, ParentId), Id
Isso primeiro classificará por Id, se ParentId =0, ou por ParentId caso contrário. O segundo critério de classificação é o Id, para garantir que as respostas sejam retornadas em ordem.
