Eu acho que há uma solução agora para a nova versão do django, pois temos OuterRef e Subquery.
from django.db.models import OuterRef, Subquery, Prefetch
subqry = Subquery(Comment.objects \
.filter(user_id=OuterRef('user_id')) \
.values_list('id', flat=True)[:5])
User.objects.prefetch_related(
Prefetch('comments', queryset=Comment.objects.filter(id__in=subqry)))