Esta é uma questão muito complexa - em primeiro lugar, as configurações de memória padrão para imagens Debezium Docker são bastante baixas, portanto, se você as estiver usando, pode ser necessário aumentá-las.
Em seguida, há vários fatores em jogo. Eu recomendo fazer os seguintes passos.
- Aumente
max.batch.size
emax.queue.size
- reduz o número de commits - Aumente
offset.flush.timeout.ms
- dá tempo ao Connect para processar registros acumulados - Diminuir
offset.flush.interval.ms
- deve reduzir a quantidade de compensações acumuladas
Infelizmente, há um problema KAFKA-6551 espreitando nos bastidores que ainda podem causar estragos.