O SQL Server Browser está sendo executado na máquina? Para instâncias nomeadas, como \SQLExpress, o SQL Browser permite que as máquinas cliente identifiquem a qual porta se conectar.
Por padrão, apenas a instância padrão é executada no TCP 1433. Se o cliente não puder se conectar na porta padrão, ele consultará o SQL Browser em UDP 1434 para localizar a porta correta a ser usada para uma determinada instância nomeada.