De acordo com a entrada BOL em DATEDIFF (argumentos seção) para SQL Server 2005,

Então você provavelmente está preso com SQL dinâmico ou usando uma instrução CASE. Mas eu optaria por uma versão CASE em vez de SQL dinâmico.