Você não pode fazer um agregado de um agregado
Max(Sum()) , não é válido no SQL, esteja você usando o ORM ou não. Em vez disso, você precisa unir a tabela a si mesma para encontrar o máximo. Você pode fazer isso usando uma subconsulta. O código abaixo parece certo para mim, mas lembre-se de que não tenho algo para executar isso, portanto, pode não ser perfeito. from django.db.models import Subquery, OuterRef
annotation = {
'AcSum': Sum('intensity')
}
# The basic query is on Relation grouped by A and Category, annotated
# with the Sum of intensity
query = Relation.objects.values('a', 'b__category').annotate(**annotation)
# The subquery is joined to the outerquery on the Category
sub_filter = Q(b__category=OuterRef('b__category'))
# The subquery is grouped by A and Category and annotated with the Sum
# of intensity, which is then ordered descending so that when a LIMIT 1
# is applied, you get the Max.
subquery = Relation.objects.filter(sub_filter).values(
'a', 'b__category').annotate(**annotation).order_by(
'-AcSum').values('AcSum')[:1]
query = query.annotate(max_intensity=Subquery(subquery))
Isso deve gerar SQL como:
SELECT a_id, category_id,
(SELECT SUM(U0.intensity) AS AcSum
FROM RELATION U0
JOIN B U1 on U0.b_id = U1.id
WHERE U1.category_id = B.category_id
GROUP BY U0.a_id, U1.category_id
ORDER BY SUM(U0.intensity) DESC
LIMIT 1
) AS max_intensity
FROM Relation
JOIN B on Relation.b_id = B.id
GROUP BY Relation.a_id, B.category_id
Pode ser mais eficiente eliminar a junção em
Subquery usando um recurso específico de back-end como array_agg (Postgres) ou GroupConcat (MySQL) para coletar o Relation.ids que são agrupados na consulta externa. Mas não sei qual back-end você está usando. 
