Tente aumentar work_mem na esperança de que você possa obter um agregado de hash mais eficiente.

Admito que acho surpreendente que o tempo seja gasto no agregado do grupo...