Você pode usar SQL literal em seu filtro, veja aqui:http://www.sqlalchemy.org/docs/05/ormtutorial.html?highlight=text#using-literal-sql
Por exemplo:
clause = "SQRT(POW(69.1 * (latitude - :lat),2) + POW(53.0 * (longitude - :long),2)) < 5"
query = meta.Session.query(User).filter(clause).params(lat=my_latitude, long=my_longitude)
