dbt microbatchがもたらす変化と実装のベストプラクティス

dbt Advent Calendar 2024 23日目の記事です。 dbtのincremental_strategyに新たにmicrobatchが導入され、大規模な時系列データの処理方法が革新的に変わろうとしています。 この記事では、microbatchと従来のincrementalを比較しながら、本番環境への導入に向けた重要なポイントを解説します。 前提: batch_size="hour" で動かすと壊れる @2024/12/23時点 解消済みです。 当記事では筆者の実際の運用環境を想定し、batch_size="hour"での実装を前提に解説を進めます。 ただし、現在dbt-coreのバグにより、hourオプションは使用できない状態です。 hourでの運用を検討されている方は、以下のissueの解決をお待ちください。 microbatchの基本設定 {{ config( mate

[sh19910711]

2024 / "時系列データ処理の実装が大幅にシンプル化 / 各チームが独自に実装していた処理パターンが標準化されたことは、dbtコミュニティにとって大きな前進"