Se você puder se conectar usando o SSMS, copie a conexão exatamente, ou seja, certifique-se de especificar uma instância nomeada (por exemplo, 'VBNET\SQLSERVER'). Abra o SSMS, no nó do servidor no lado esquerdo, clique com o botão direito e selecione 'Propriedades'.

Se você tiver o SQL 2008 em execução na mesma máquina, é mais provável que o SQL 2008 use a instância padrão e o SQL 2000 uma instância nomeada.

O que também pode ajudar, ou seja, tornar o teste mais simples é criar um arquivo UDL vazio (por exemplo, 'TEST.UDL'). Um arquivo de texto vazio deve fazer. Em seguida, clique duas vezes nele, selecione o provedor e brinque com as configurações. Você sempre pode testar a conexão usando o botão 'Testar conexão'. Eu uso esse truque quando preciso me conectar a partir de um PC do cliente pela primeira vez.