GCPのCDCサービス、DataSreamとはなんなのか？ - Qiita最近、GCPのサービスとしてdatasreamを知り、結構便利なのでは？と思ったので纏めてみたいと思います。 CDCとは？ datasreamはCDCのサービスですが、このCDCは change data capture といい、簡単にデータが変更された差分だけを保存する機能です。何かしらの一意のキーを元に変更されたレコードや新規に追加されたレコードを検出することで、変更分だけのデータを取得します。 具体的には 変更した日付(LAST_UPDATE)やテーブルカラムにバージョンをつけて管理する(VERSION_NUMBER)などですね。 このCDCの概念自体は元から存在していたのですが、デザインパターンレベルだったので利用するためには実際に実装する必要がありました。 Datastream GCPのdatasreamは先ほど述べた通りCDCのサービスなのですが主に以下のメリットがあります。
