Veja o plano de consulta - ele poderia seja qualquer coisa. Índices ausentes em uma das tabelas de exibição subjacentes, índices ausentes na tabela de junção ou outra coisa.

Dê uma olhada neste artigo de Gail Shaw sobre como encontrar problemas de desempenho no SQL Server - parte 1 , parte 2 .