Redis ou Kafka ou XYZ podem ser usados como buffer na pilha ELK como você notou corretamente.
O pessoal do ES publicou um post no blog ontem sobre o uso do Kafka no pipeline, mas também poderia ter sido Redis ou XYZ. Eles fazem uma boa observação sobre QUANDO tal buffer pode ser necessário e quando não é.
É uma boa idéia ter esse buffer para
- lidar com picos de eventos
- lidar com um cluster ES potencialmente inacessível
Se você não antecipar tais comportamentos, ou seja, você sabe
- seus eventos sempre ocorrerão no mesmo ritmo e/ou
- você concorda que seus logs sejam enviados um pouco mais tarde, caso precise atualizar seu cluster ES
...então você não precisa desse buffer. Além disso, será menos um software que você precisa para gerenciar, monitorar e manter.
Quando se trata do ecossistema Elastic Stack, não há uma abordagem única para todos, sempre depende do seu caso de uso e requisitos precisos. Você precisa se perguntar o que é importante para você, seu(s) sistema(s) e seus usuários e, em seguida, projetar sua solução de acordo.
