はじめに dbt-core を導入して数ヶ月経ち知見も溜まってきました。 一度これまであった課題とその解決策について書き残しておきたいと思います。 記事の想定読者 dbt の基礎を理解している dbtディレクトリ構成(参考までに) ディレクトリ構成を記載 dbtのベストプラクティスに則りディレクトリの構造を処理毎のレイヤーに分割してます。 Staging ソースデータからデータモデルを構築する最小単位を作成する。DRYの原則に則って実装を行う。 やること rename 型変換 その他、プロジェクト全体で普遍的な変換(ex. yen -> dollar, 日付の形式変換) カテゴリーの変換(caseロジック) やらないこと ソースもとのデータのJOIN(例外) 集計処理 Intermediate Staging で作成したモデルを使用してドメイン、ビジネスロジックを当てていく Marts I
