Você precisa de uma maneira de informar ao navegador que os dados foram atualizados.

A maneira mais fácil seria ter uma chamada ajax que agrupa o servidor para verificar se novos dados foram adicionados. Você pode usar o javascript para definir isso para ser chamado a cada minuto ou quantas vezes você quiser. Depois que a chamada ajax mostrar que os novos dados foram carregados, você poderá usar o javascript para atualizar a página.

Essa abordagem significa que você terá muitas chamadas para seu servidor, mas elas serão pequenas e os dados completos serão carregados apenas quando necessário.