Tente usar astext>
records = db_session.query(Resource).filter(
Resources.data["lastname"].astext == "Doe"
).all()
Observe que a coluna DEVE ter um tipo de JSONB. A coluna JSON normal não funcionará.
records = db_session.query(Resource).filter(
Resources.data["lastname"].astext == "Doe"
).all()