Não faça isso até começar a ter problemas de desempenho causados pelo tempo que leva para agregar seus dados.
Então faça.
Se descobrir esse gargalo na produção for inaceitável, execute o sistema em um ambiente de teste que corresponda exatamente ao seu ambiente de produção e carregue dados de teste que correspondam exatamente aos dados de produção. Se você atingir um gargalo de desempenho nesse ambiente causado pelo tempo de agregação, faça-o.