Estou assumindo que você está usando ODBC aqui porque você não declarou exatamente e é normalmente usado ...

Não, você deve usar uma nova conexão a cada vez, esta é a prática padrão que a Microsoft recomenda. Se você estiver usando ODBC etc, o Windows gerencia essas conexões, armazenando-as em cache para reutilização e facilita o gerenciamento do tempo de vida das coisas.

Se você usa uma conexão estática, pode descartá-la antecipadamente ou tê-la fechado sem saber. Em geral, é um pouco mais complicado e uma otimização prematura.

Consulte OdbcConnection para mais informações.