A maneira mais simples de fazer isso, se você não estiver vinculado a uma estrutura específica, é com um arquivo de propriedades. Dê uma olhada na última parte da resposta aceita para essa pergunta (não o bit XML para o seu caso).

Dependendo se você estiver usando um contêiner de servlet ou similar (por exemplo, Tomcat, Glassfish, etc.), você também pode considerar usar as configurações de conexão e o pool de conexões desse contêiner, que podem ser mais simples do que reciclar suas próprias conexões.

Mas se você está apenas tentando sentir o seu caminho em Java e isso é para você aprender sobre JDBC, mantenha-o simples inicialmente e apenas leia suas propriedades de um arquivo db.properties em seu caminho de classe.