Esta é uma questão muito complexa - em primeiro lugar, as configurações de memória padrão para imagens Debezium Docker são bastante baixas, portanto, se você as estiver usando, pode ser necessário aumentá-las.
Em seguida, há vários fatores em jogo. Eu recomendo fazer os seguintes passos.
- Aumente
max.batch.sizeemax.queue.size- reduz o número de commits - Aumente
offset.flush.timeout.ms- dá tempo ao Connect para processar registros acumulados - Diminuir
offset.flush.interval.ms- deve reduzir a quantidade de compensações acumuladas
Infelizmente, há um problema KAFKA-6551 espreitando nos bastidores que ainda podem causar estragos.