Eu suspeito que o Hibernate está tentando usar o método "grande objeto" com o PostgreSQL, que envolve armazenar um "handle" OID para o arquivo na tabela. Alguns exemplos de leitura:http://virgo47.wordpress.com/2008/06/13/jpa-postgresql-and-bytea-vs-oid-type/

Se você quiser continuar usando apenas uma coluna bytea (e isso é consideravelmente mais simples de trabalhar no lado SQL), use BinaryType para mapear a coluna. Consulte:anotação de hibernação adequada para byte[]