Um de

1. 
   Carregar o campo com preguiça
   
   Adicione @Basic(fetch = FetchType.LAZY) anotação para o seu campo. Você precisará de instrumentação de bytecode. Consulte http://java.dzone.com/articles/hibernate-bytecode-enhancement para ajuda
   
2. 
   Torne o campo sua própria classe e torne-o um relacionamento one-2one. Então faça esse preguiçoso
   
3. 
   Você pode fazer um relacionamento one2one com a mesma classe? Então faça esse preguiçoso
   

Para sua segunda pergunta, você deve salvar o contentType do arquivo carregado em seu banco de dados e escreva-o de volta ao baixar com response.setHeader('Content-Type', ...);