dbtによる差分更新のいくつかのアプローチ - Qiita

本記事では dbt の incremental モデルによる差分更新の実現方式をいくつか述べたいと思います。 ただし、あくまで概念コードであり、細かいケースや運用のしやすさは簡易のために除いていますので、その点はご了承ください。 1. 題材とする処理 日次バッチで sales_detail（売上詳細）テーブルから sales_summary（売上サマリー）テーブルを作成することを考えます。 集計方法については以下とします。 sales_datetime を日付単位に切り捨てたもの（= sales_date）と product_id ごとに集計します。 total_sales_quantity は sales_quantity の合計とします。 last_update_datetime は update_datetime の最新 (max) とします。 いくつかの前提を置きます。 sales