Se você subtrair de uma data outra, obterá uma contagem de dias entre essas duas datas. Você não pode transformar esse valor em data por to_date função. E qual data você deseja obter, por exemplo, a diferença entre as datas 456 dias significa:

1 year 3 month and several days

Pode ser melhor retornar o valor da string formatada?