Acho que @alecxe estava insinuando isso em seu último bloco de código, mas você pode usar um DictCursor com a extensão Flask da seguinte maneira:
Assim como a extensão Flask MySQL, você precisa do DictCursor
from flaskext.mysql import MySQL
from pymysql.cursors import DictCursor
Em seguida, basta adicionar o parâmetro
cursorclass=DictCursor
ao criar o objeto MySQL:mysql = MySQL(cursorclass=DictCursor)
Estou usando isso no meu próprio aplicativo Flask e parece estar funcionando conforme o esperado
Observação:descobri esta solução em um comentário na fila de problemas no repositório do Github para o projeto aqui . Eu gostaria que a documentação da biblioteca tivesse mais do que algumas linhas.