Pergunta 1:Você obtém caracteres "tipo chinês" porque está inserindo um valor varbinary retornado por HASHBYTES em uma coluna nvarchar, portanto, o SQL Server está tentando interpretar os bytes como pontos de código Unicode (caracteres).

Pergunta 2:sem suporte antes do SQL Server 2012 - consulte SQL Server 2008 R2 HASHBYTES SHA2 retorna nulo