Eu vejo o que estava errado. Você tem que fazer o pedido no final da consulta, e somente no final. Deu-me um erro porque achava que a consulta havia terminado.
Select <column1>
,<column2>
,<aggregate column3>
From <Table1>
<Some joins in there>
Where <conditions>
group by <column2>, <column1>
union
select <column2>
,<column3>
,<aggregate column4>
From <Table2>
<Some more joins here>
Where <conditions>
group by <column2>, <column3>
order by <column2>
Isso fez o truque.