Se você estiver se conectando da máquina Windows A à máquina Windows B (servidor com SQL Server instalado) e estiver recebendo este erro, você precisa fazer o seguinte:

Na máquina B:

1.) ligue o serviço do Windows chamado "SQL Server Browser" e inicie o serviço

2.) no firewall do Windows, habilite a porta de entrada UDP 1434 (caso o SQL Server Management Studio na máquina A esteja se conectando ou um programa na máquina A esteja se conectando)

3.) no firewall do Windows, habilite a porta de entrada TCP 1433 (caso haja conexão telnet)

4.) no SQL Server Configuration Manager, habilite o protocolo TCP/IP para a porta 1433