Aqui está o que o Management Studio faz para alterar o modo de autenticação de misto para apenas Windows:
EXEC xp_instance_regwrite
N'HKEY_LOCAL_MACHINE',
N'Software\Microsoft\MSSQLServer\MSSQLServer',
N'LoginMode',
REG_DWORD,
1;
E do Windows apenas de volta ao misto:
EXEC xp_instance_regwrite
N'HKEY_LOCAL_MACHINE',
N'Software\Microsoft\MSSQLServer\MSSQLServer',
N'LoginMode',
REG_DWORD,
2; -- only difference is right here
Você pode chamar o mesmo comando de várias fontes que podem se conectar ao SQL Server, como SQLCMD, PowerShell, VBScript, C# etc. Marc_s sugerido).
Observe que, em todos os casos, você precisa reiniciar o SQL Server para que as alterações tenham efeito. Você pode exibir as primeiras várias entradas no novo log de erros na reinicialização para validar se o modo de autenticação está correto. Ele dirá (para misto):
date/time Server Authentication Mode is MIXED.