Tente isto:
Question.objects.annotate(
answer_amount=Count('answers'),
is_user_agreed=F('answers__is_agreed'),
).order_by('id', '-answers__is_agreed').distinct('id')
Se
question não tem answers , então question.is_user_agreed é None . Se question tem pelo menos uma answer com answer.is_agreed=True , então question.is_agreed é True . Caso contrário, is_user_agreed é False . Ou isto:
agreed_questons = Answer.objects.filter(
is_agreed=True,
).values_list('question_id', flat=True).distinct()
Question.objects.annotate(
answer_amount=Count('answers'),
is_agreed=Case(
When(id__in=agreed_questions, then=True),
When(answers__isnull=True, then=None),
default=False,
output_field=NullBooleanField(),
),
)
agreed_questons é uma lista de id de questions , que tenham pelo menos uma answer com answer.is_agreed=True . 
