O Redis definitivamente não será mais rápido que o Java nativo em uma única máquina. Isso permitiria que você distribuísse o processamento, mas se os blocos de dados forem realmente grandes, eles provavelmente não caberão na memória de qualquer maneira. Sem saber mais sobre o que você está fazendo, sugiro armazenar os dados em disco. Quando você obtém várias máquinas, pode montar a partição em rede e compartilhar os dados dessa maneira. Alternativamente, o Hadoop com MapReduce parece ser o tipo certo de coisa para o que você está fazendo.