Se você deseja que os dados sejam convertidos automaticamente, você deve especificar o conjunto de caracteres quando você cria o mecanismo:
create_engine('mysql+mysqldb:///mydb?charset=utf8')
Configurando
use_unicode sozinho não dirá ao sqlalchemy qual charset usar. 
