Seus casos de teste em que você não pode se conectar com "ServerName\Instance", mas PODE se conectar ao servidor por meio de "ServerName,Port" é o que acontece quando você VPN em uma rede com Microsoft VPN. (eu tive esse problema). Para o meu problema de VPN, simplesmente uso os números de porta estáticos para contorná-lo.
Aparentemente, isso ocorre porque a VPN não encaminha pacotes UDP, permitindo apenas conexões TCP.
No seu caso, seu firewall ou configurações de segurança ou antivírus ou o que quer que possa estar bloqueando o UDP.
Sugiro que você verifique sua configuração de firewall para permitir especificamente UDP .
Navegador Artical