DBへの変更をイベントストリームに変換するOSS: Debeziumの紹介とチュートリアル - 赤帽エンジニアブログ

Red Hatの須江です。 本記事は赤帽エンジニアAdvent Calendar 2018の6日目です。 (子供の寝かしつけで一緒に寝落ちして日付が変わってしまいましたが12/6分です。。。) Debeziumとは? DebeziumはDBに対するデータ操作をキャプチャしてイベントストリームに変換してくれる分散プラットフォームです。Apache Kafkaをベースに実装されており、Kafka Connectベースのコネクタを利用してDBをモニターすることができます。 既存DBに対するデータ操作をKafkaのメッセージに変換することができますので、レガシーシステムなどでアプリケーションに手を入れたくないけどデータだけ抜き出してリアルタイム処理したいとか、別システムにデータを流用したいという場合に便利なソフトウェアです。 また、イベントログはKafkaが保持してくれているので、データを利用する

[nobusue]

書きやした

[ikkitang1211]

チュートリアルやってみた

[tune]

DB分割するときに使えるかも。

[uehaj]

DBに対する更新を横取りしてKafkaという汎用的なメッセージバスに乗せ、単純なデータレプリケーションだけでなく、同じメッセージストリームを複数の目的で再利用。 レガシーマイグレーションの手段