Eu tive um problema parecido. Eu uso Spring Boot 1.5.9 e postgres 9.6, data.sql com inserções. A codificação no data.sql era UTF-8, mas após o início do aplicativo, no DB havia símbolos especiais em vez de letras russas.
spring.datasource.sql-script-encoding= UTF-8
Esta propriedade em application.properties ajudou.
Todas as propriedades responsáveis pelo DB:
spring.datasource.jndi-name=java:/PostgresDS
spring.jpa.properties.hibernate.default_schema=my_scheme_name
spring.jpa.hibernate.ddl-auto = update
spring.jpa.show-sql = false
spring.jpa.properties.hibernate.dialect = org.hibernate.dialect.PostgreSQLDialect
spring.datasource.continue-on-error=true
spring.datasource.sql-script-encoding= UTF-8
