タグ

ブックマーク / terashim.com (1)

  • MERGE文で実現するパーティションの置換によるテーブル差分更新の方法 (BigQuery) | terashim.com

    パーティションの置換による差分更新 以前の記事 BigQuery 上でデータ変換パイプラインを構築するための SQL の書き方 では、MERGE文を使っていわゆるUPSERT処理を行う方法について紹介しました。 UPSERTとは、差分データの各行に対して、もしユニークキーの値がそれと合致するような行が対象テーブルに存在すればその行を上書き更新(UPDATE)し、存在しなければ新規挿入(INSERT)するという処理のことです。 記事ではそれよりもシンプルな方法として パーティション置換による差分更新 の実装をご紹介します。 まずはパーティション置換による差分更新とはどのようなものか、例を図で示します。 図: パーティションの置換による差分更新の例 前提として 更新対象のテーブルは適当なカラム (ここでは日付カラム date) でパーティショニングされているものとします。 差分データは常にパ

    MERGE文で実現するパーティションの置換によるテーブル差分更新の方法 (BigQuery) | terashim.com
  • 1