Kafka ConnectはKafkaと周辺のシステム間でストリームデータをやりとりするための通信規格とライブラリとツールです。まずは下の図をご覧ください。 コネクタは周辺のシステムからKafkaへデータを取り込むためのソースと周辺システムへデータを送るシンクの二種類があります。データの流れは一方通行です。すでに何十ものコネクタが実装されており、サポートされている周辺システムは多種に渡ります。もちろん自分でコネクタを作ることもできます。 Kafkaの中を通過するデータの形式は基本的にAvroです。コネクタが周辺システム固有のデータ形式をAvroに変換統一しています。これによりどんなソースとシンクの組み合わせでも動くことになります。 AvroにはSchema Registryがあり、スキーマの変更にも対応できます。 コネクタはスタンドアローンモードと分散モードがあり、分散モードでは複数台のサ
![Data Integration as Service: Kafka-Connectの紹介と実験 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5d4bccc43a2eb6b91cc7a507cdf974343b9f0355/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9RGF0YSUyMEludGVncmF0aW9uJTIwYXMlMjBTZXJ2aWNlJTNBJTIwJTIwS2Fma2EtQ29ubmVjdCVFMyU4MSVBRSVFNyVCNCVCOSVFNCVCQiU4QiVFMyU4MSVBOCVFNSVBRSU5RiVFOSVBOCU5MyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YmZhODg0YTg1YmYxMDE3ZGY5MDBjZGYxMTU1NjcxNzI%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBrbm9ndWNoaSZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9N2Y3MWUxOTk1ODg2NjlhNGMxMTcxYTEyNmRiMTJmMzA%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3D04dce18d5bafce488a7c81cbc7947869)