Data Integration as Service: Kafka-Connectの紹介と実験 - Qiita

Kafka ConnectはKafkaと周辺のシステム間でストリームデータをやりとりするための通信規格とライブラリとツールです。まずは下の図をご覧ください。 コネクタは周辺のシステムからKafkaへデータを取り込むためのソースと周辺システムへデータを送るシンクの二種類があります。データの流れは一方通行です。すでに何十ものコネクタが実装されており、サポートされている周辺システムは多種に渡ります。もちろん自分でコネクタを作ることもできます。 Kafkaの中を通過するデータの形式は基本的にAvroです。コネクタが周辺システム固有のデータ形式をAvroに変換統一しています。これによりどんなソースとシンクの組み合わせでも動くことになります。 AvroにはSchema Registryがあり、スキーマの変更にも対応できます。 コネクタはスタンドアローンモードと分散モードがあり、分散モードでは複数台のサ

[wlbhiro]

Kafkaのコネクタ一覧

[tofy]

“Kafka-Connect ”

[Nilfs]

Kafka-Connectを使っておけば自前でProducerやConsumerのプロセスの管理をするときの耐障害性とかを気にしなくていいって話かな？