Não, uma conexão MySQL não utilizada não consumirá muito (se houver) tempo de CPU, embora ocupe um pouco de memória para lidar com os vários bits de 'estado' que devem ser mantidos por conexão.

No entanto, observe que o protocolo de conexão do MySQL é realmente bastante "leve". Manter um conjunto de conexões persistentes parece atraente, mas o custo de estabelecer uma nova conexão já é muito baixo.

Conexões persistentes são uma solução rápida para resolver a sobrecarga de conexão, mas trazem problemas. A pior das conexões abandonadas pode deixar as conexões em um estado indeterminado (transações em andamento, variáveis/configurações de servidor alteradas, etc...) e você pode facilmente criar deadlocks inadvertidos, a menos que seja muito cuidadoso.