MongoDB
 sql >> Base de Dados >  >> NoSQL >> MongoDB

Conector de origem oficial do Mongodb Kafka distribuído com várias tarefas Não está funcionando


Parece que este é o comportamento do Official MongoDB Kafka Source Connector. Esta é a resposta que recebi em outro fórum de Ross Lawley (desenvolvedor do MongoDB):

Antes da versão 1.2.0, apenas uma única tarefa era suportada pelo conector de coletor. O conector de origem ainda suporta apenas uma única tarefa, porque ele usa um único cursor de fluxo de mudança. Isso é suficiente para observar e publicar alterações em todo o cluster, banco de dados ou em uma única coleção.

Criei este ticket:https://jira.mongodb.org/browse/KAFKA-121 Obteve a seguinte resposta:O conector de origem produzirá apenas uma única tarefa. Isso ocorre por design, pois o conector de origem é apoiado por um fluxo de mudança. Os fluxos de mudança usam internamente os mesmos dados usados ​​pelo mecanismo de replicação e, como tal, devem ser dimensionados como o banco de dados. configurar vários conectores e cada um terá seu próprio cursor de fluxo de mudança.