Você precisa configurar a codificação do cliente do Psycopg2. Consulte a documentação do SQLAlchemy :
O
client_encoding parâmetro pode ser especificado como uma string de consulta no URL do mecanismo: postgresql://user:[email protected]/dbname?client_encoding=utf8
