Mysql
 sql >> Base de Dados >  >> RDS >> Mysql

Configuração de conexão Kafka para enviar registro do Aurora usando AWS MSK


Não. Você pode habilitar esquemas em registros json. A fonte JDBC pode criá-los para você com base nas informações da tabela
value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Se você quiser usar o Schema Registry, você deve usar kafkastore.bootstrap.servers .com o endereço do Kafka, não do Zookeeper. Portanto, remova kafkastore.connection.url

Por favor, leia os documentos para explicações de todas as propriedades

Não importa. O tópico de esquemas é criado quando o Registro é iniciado pela primeira vez

Sim (ignorando o espaço de heap da JVM disponível). Novamente, isso é detalhado na documentação do Kafka Connect.

Usando o modo autônomo, você primeiro passa a configuração do connect worker e, em seguida, até N propriedades do conector em um comando

Usando o modo distribuído, você usa a API REST do Kafka Connect

https://docs.confluent.io/current/connect/managing/configuring .html

Primeiro de tudo, isso é para SQLite, não para Mysql/Postgres. Você não precisa usar os arquivos de início rápido, eles estão lá apenas para referência

Novamente, todas as propriedades estão bem documentadas

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Aqui estão mais informações sobre como você pode depurar isso

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-connector/

Como dito anteriormente, eu pessoalmente sugeriria usar Debezium/CDC sempre que possível

Conector Debezium para RDS Aurora