O "bytea_output =escape" é apenas uma solução alternativa, o Postgres 8.0 alterou a codificação bytea para hexadecimal.

Use um driver JDBC atual desde 9.0-dev800 (9.0 Build 801 está atualizado atualmente) e o problema será resolvido.