O que você tem é uma UDF escalar (leva de 0 a n parâmetros e retorna um valor escalar). Essas UDFs geralmente causam uma operação linha por linha de sua consulta, a menos que sejam chamadas com parâmetros constantes, com exatamente o tipo de degradação de desempenho que você está enfrentando com sua consulta.

Consulte aqui , aqui e aqui para obter explicações detalhadas sobre as armadilhas de desempenho do uso de UDFs.