並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 1 件 / 1件

新着順 人気順

datapipelineの検索結果1 - 1 件 / 1件

  • メルペイDataPlatformのCDC DataPipeline | メルカリエンジニアリング

    こんにちは、メルペイ DataPlatformチーム(@rerorero, @darklore, @laughingman7743)です。 この記事は、Merpay Tech Openness Month 2022 の14日目の記事です。 今日はメルペイ DataPlatformで取り組んでいるCDCパイプラインについて紹介します。 CDCパイプラインとは何か CDCとは Change Data Capture の略称で、データベース内のデータの変更(新規作成、削除、変更など)を追跡するシステムです。データソースで発生した変更は、ニアリアルタイムでデータシンクに反映させることができます。 CDCの実現方法にはいくつかあるのですが、メルペイ DataPlatformでは以下の2つの方法を使ったパイプラインを構築しています。 Striim社のブログ がよくまとまっていたので、こちらから引用させ

      メルペイDataPlatformのCDC DataPipeline | メルカリエンジニアリング
    1