Kafka Connect

Запуск сервиса

В папке дистриубтива Kafka есть скрипт ./bin/connect-standalone.sh который надо запустить указав путь до файла конфига в формате properties:

bootstrap.servers=127.0.0.1:29092,127.0.0.1:39092,127.0.0.1:49092
group.id=myconnect
 
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
 
offset.storage.topic=connector_offset
offset.storage.file.filename=offset
config.storage.topic=connector_config
status.storage.topic=connector_status

Драйвер MongoDB Connect

Документация: https://www.mongodb.com/docs/kafka-connector/current/introduction/install/ Maven: https://central.sonatype.com/artifact/org.mongodb.kafka/mongo-kafka-connect?smo=true

Jar файл архива надо положить в паку libs дистрибутива Kafka.

Создать коннектор

http POST http://localhost:8083/connectors @mongodb.json

где mongodb.json:

{"name": "mongo-source",
 "config": { "connector.class":"com.mongodb.kafka.connect.MongoSourceConnector",
     "connection.uri":"mongodb://localhost:27017",
     "database":"strava",
     "collection":"workout",
     "copy.existing": true
 }
}