Sim, sua string de conexão deve ser definida no <connectionStrings> seção do web.config exatamente por esse motivo - para que você possa alterar facilmente a configuração para apontar para um ambiente de banco de dados diferente ao implantar seu aplicativo em um ambiente diferente, sem precisar recompilar seu código.