Você pode usar a descrição do cursor para extrair cabeçalhos de linha:
row_headers=[x[0] for x in cursor.description] após a instrução de execução. Então você pode compactá-lo com o resultado do sql para produzir os dados do json. Assim, seu código será algo como:from flask import Flask
from flask.ext.mysqldb import MySQL
import json
app = Flask(__name__)
app.config['MYSQL_HOST'] = '127.0.0.1'
app.config['MYSQL_USER'] = 'root'
app.config['MYSQL_PASSWORD'] = 'password'
app.config['MYSQL_DB'] = 'hello_db'
mysql = MySQL(app)
@app.route('/hello')
def index():
cur = mysql.connection.cursor()
cur.execute('''SELECT * FROM Users WHERE id=1''')
row_headers=[x[0] for x in cur.description] #this will extract row headers
rv = cur.fetchall()
json_data=[]
for result in rv:
json_data.append(dict(zip(row_headers,result)))
return json.dumps(json_data)
if __name__ == '__main__':
app.run(debug=True)
Na instrução de retorno você pode usar
jsonify em vez de json.dumps como sugerido por RickLan nos comentários. 
