A resposta simples é o pool de conexões. Um pool de conexões é um pool de conexões que estão sempre conectadas ao banco de dados. Você pode definir uma marca d'água alta e uma marca d'água baixa para o número de conexões.
Quando seu aplicativo solicitar uma conexão do pool, ele usará uma das conexões inativas e a reutilizará. É assim que você dimensiona a conectividade do banco de dados.
Você está usando PHP, então veja o seguinte:
- http://www. oracle.com/technetwork/topics/php/php-scalability-ha-twp-128842.pdf
- http://php.net/manual/en/mysqlnd- ms.pooling.php
Tem muita informação sobre isso na net.