Normalmente a lentidão na (primeira) conexão depende da resolução do DNS. Pode ser:

• cliente para resolver o nome do servidor
• servidor para resolver o nome do cliente para corresponder a uma regra de acesso

informe o cliente/servidor o endereço do servidor/cliente usando o arquivo host:http://en.wikipedia.org/wiki/Hosts_(arquivo)