A resposta é uma expressão RawSQL;
queryset.annotate(value = RawSQL("(jsonfield->%s)", ('key_name',)))
queryset.values('value')
O primeiro argumento para
RawSQL é como uma string de modelo, o segundo argumento irá preencher o %s do primeiro ATUALIZAÇÃO:aparentemente o Django 2.1+ agora suporta meu comportamento esperado original;
queryset.values('jsonfield__key_name')
