dbtで「Incremental」を使わずに冪等性を担保する方法について - Qiita

記事を書いた背景 この記事はdbt Advent Calendar 2023の21日目の記事です dbtを用いてモデリングを行う際に冪等性を担保する場合は、通常Incrementalモデルを使用します しかし、以下のような場合にはIncrementalモデルを用いた冪等性の担保を実現することは難しいです レイヤアーキテクチャを採用している基盤で、Rawやデータレイクに蓄積されたデータからMartなどのレイヤにロードする際に、必要なデータだけに絞り込むようにモデリングしていたとします。例えばautomateDV（dbtVault）を使用している場合、フレームワークの仕様に合わせてraw_stageレイヤにて、データを以降のレイヤで使用するデータだけに絞り込む必要があります dbtプロジェクトを日次で実行される場合はソースデータの抽出条件を変数で指定することにより冪等性を担保することが可能です