Na versão original não simplificada desta consulta, tínhamos um DISTINCT , o que era completamente desnecessário e causava o problema de desempenho com group_concat. Não sei por que isso causou esse problema, mas removê-lo corrigiu o problema de desempenho.