Eu tenho procurado na web por uma solução, mas não consegui encontrar nenhuma, então aqui está o que criamos (pode haver maneiras melhores, mas pelo menos isso é um começo se alguém se deparar com isso).

Especifique o dtype parâmetro em to_sql .

Passamos de:df.to_sql(table_name, analytics_db) para df.to_sql(table_name, analytics_db, dtype={'name_of_json_column_in_source_table': sqlalchemy.types.JSON}) e simplesmente funciona.