knj2918のブックマーク - はてなブックマーク

dbtの推奨ディレクトリ構成 | Hakky Handbook

データ変換において意識すべき点プロジェクトにあるデータは以下の 3 つの意識すべき点があります。 Sources サードパーティツールによってロードされるスキーマとテーブル Staging models ソースデータテーブルと一対一の関係を持つモデルカラムの名前が変更されたり、再構成されたり、有用な形で一貫性のあるフォーマットに修正 Marts models ビジネスプロセスエンティティを表現するモデル推奨ディレクトリ構成上記のデータ変換において意識すべき点を踏まえ、dbt Style Guideでは以下のような構成が推奨されています。

knj2918 2023/02/16

あとで読む

リンク

dbt入門 | Hakky Handbook

dbt とは dbt とは、data build tool の略で、ELT の T を担当するソフトウェアです。つまり、データウェアハウスにあるデータを加工してデータウェアハウスに書き戻すツールになります。ELT の EL の部分は Meltano など他のツールに任せます。特徴 dbt には主に以下の機能や特徴があります。 SQL の SELECT 文だけで開発可能スキーマや依存関係に関するドキュメントの自動生成機能 NULL、参照整合性などの自動テスト機能 Jinjaによる処理のモジュール化 Git、CI / CD などソフトウェア開発の手法が活用可能 dbt の利用方法 dbt は、SaaS としての「dbt Cloud」と OSS の「dbt CLI」を利用することができます。それぞれの機能の違いは以下の記事をご参照ください。 dbt Cloud と dbt-core (