Por que você não cria o perfil de uma consulta e vê o que exatamente está acontecendo?
SET PROFILING = 1;
SET profiling_history_size = 0;
SET profiling_history_size = 15;
/* Your query should be here */
SHOW PROFILES;
SELECT state, ROUND(SUM(duration),5) AS `duration (summed) in sec` FROM information_schema.profiling WHERE query_id = 3 GROUP BY state ORDER BY `duration (summed) in sec` DESC;
SET PROFILING = 0;
EXPLAIN /* Your query again should appear here */;
Acho que isso ajudará você a ver exatamente onde a consulta leva tempo e, com base no resultado, você pode realizar operações de otimização.