Eu resolvi o problema.
Primeiro eu adicionei
NLS_LANG=.AL32UTF8 como a variável de ambiente no sistema onde o Oracle está instaladoSegundo eu passei o parâmetro encoding e nencoding na função connect do cx_Oracle como abaixo. cx_Oracle.connect(username, password, connection_string,
encoding="UTF-8", nencoding="UTF-8")
Esse problema também é discutido aqui em https://github.com/oracle/python- cx_Oracle/issues/157
