Essas pessoas podem acessar seu servidor ou a instância do SQL Server, não importa o que você faça

• qualquer pessoa com acesso físico ao servidor
• administradores de domínio da rede
• qualquer pessoa com a senha sa
• um grupo do Windows com direitos de administrador local e/ou sa (o que implica política de grupo, etc.)

Você precisa hospedar seu servidor fora do local se não quiser que ninguém faça login nele.

É que simples