Depois de muita pesquisa não consegui encontrar uma maneira de combinar isso em uma única consulta, então acabei convertendo meus QuerySets em listas e combinando-os.