Você deve considerar a criação de um ConnectionPool e obter conexão desse pool para o trabalho relacionado ao banco de dados.

Os dois links a seguir podem ser do seu interesse:

Agrupamento de conexões
Apache Commons DBCP

Editar Obrigado a @MJB por apontar isso :
c3p0 é outro que é muito bom.
BoneCP é outro

Mas, no final das contas, o ponto simples é este:você precisa implementar o pool de conexões. Qual você escolhe é totalmente sua decisão e com base em suas necessidades.