Eu posso ver que você está usando o phpmyadmin, é um script também para retornar os valores. Isso pode ser lento do que a velocidade do seu script, que é definitivamente pequena. Você considerou executar as consultas mysql a partir do prompt de comando? Isso pode lhe dar uma clara diferença.