Eu perguntaria antes de tudo por que você tem uma coluna varchar que precisa ser tratada como numérica, mas não importa.
Você pode usar o
extra
método queryset para converter sua string:MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])