Você não precisa se preocupar.
Bancos de dados destinados a isso.

A maioria dos sites no mundo funciona exatamente da mesma maneira:servidor MySQL rodando que será consultado regularmente através de um front-end php. Nada de ruim com isso.

Um servidor SQL bem ajustado e uma consulta projetada adequadamente servirão muito mais do que você imagina. Você precisará de tráfego excepcionalmente alto para começar a se preocupar com essas coisas.
Não esqueça que o MysQL tem seu próprio cache de consulta> .

Observe também que não há usuários "conectados" à página da web. Eles se conectam, obtêm o conteúdo da página e se desconectam.