select len(0x0a000b) está retornando o comprimento de uma string representada pelos três bytes 0x0a, 0x00 e 0x0b.

select left(0x0a000b, 1) retorna o caractere mais à esquerda da string, que é um caractere de nova linha.

Observe que select case when left(0x0a000b, 1) = 0x0a then 1 else 0 end retorna 1 , o que indica que você está, de fato, obtendo o caractere de nova linha.

Editar: Por favor, veja os comentários abaixo para obter detalhes adicionais.