talvez seja porque é uma instância nomeada em um servidor remoto.
A instância nomeada não usa a porta Tcp padrão do SQL Server 1433, apenas a instância padrão (sem nome) usa a porta 1433.
Qualquer outra " nomeada" simplesmente escuta em outra porta.
Então você deve verificar no configurador do SQL-Server, em qual porta TCP está escutando, e então dizer ao cliente para se conectar a esta porta.
Diga que seu nome instância está escutando a porta 12345, então o cliente deve se conectar usando o seguinte comando
sqlcmd -S XXX.XXX.XXX.XXX,12345 -U sa -P mypass
quando você especifica a porta TCP, não precisa do nome da instância.
No meu entendimento, o nome da instância é uma maneira de os serviços do SQL Server encontrarem a porta TCP na qual essa instância nomeada está escutando .
Mas para isso funcionar seu cliente precisa poder acessar aqueles outros serviços que resolvem o nome da instância do SQL Server (talvez seja o Sql server Agent/navegador SQL Server, mas não tenho certeza)
Atualizar
Aqui está uma captura de tela que mostra onde definir a porta TPC para uma instância nomeada do SQL Server.
então, em qual porta TCP sua instância nomeada do SQL Server está escutando?
