Se você não tiver um índice no campo pelo qual está ordenando, adicione um:

"Em alguns casos, o MySQL pode usar um índice para satisfazer uma cláusula ORDER BY sem fazer nenhuma classificação extra."

Edit:(Da seção sobre otimização ORDER BY na documentação do MySQL.)