Se todas as consultas forem lentas, SET NAMES pode ter uma prioridade muito baixa no servidor e, portanto, aguardar até que a carga seja interrompida. Se você tiver muitas outras consultas que levam muito tempo para serem executadas, convém tentar otimizá-las primeiro.
Outra solução para este "problema", poderia ser adicionar isso ao seu my.cnf no servidor:
[mysqld]
init-connect = 'SET NAMES utf8'
Isso garante que o conjunto de caracteres seja definido como UTF-8 quando um cliente se conectar, para que o cliente não precise aguardar o resultado dessa "consulta". Você provavelmente deseja desabilitar a consulta SET NAMES em seu software.
Principalmente, eu não me preocuparia muito, a menos que você realmente tenha MUITOS SET NAMES que demorem tanto.
