50超のworkflowを抱えるDagster × dbt プロジェクトのディレクトリ構成と設計パターン - ミツモア Tech blog

はじめに こんにちは、株式会社ミツモアでデータエンジニアをしている酒井です。 ミツモアのデータチームでは、Digdag + dbt で運用していたデータパイプラインを Dagster + dbt へ移行しました。Dagster は日本語の記事自体がまだ少なく、特に運用レベルの実装パターンに踏み込んだものは見つかりにくかったため、サンプルの一つになればと思い本記事を書きました。 本記事では、ミツモアのデータチームが運用しているDagsterプロジェクトを題材に、 ディレクトリをどう切っているか Definitions をどうマージしているか dbt / リソース / スケジュールをどこにどう置いているか ローカル開発と本番運用の差分をどう吸収しているか といった点を、実コードに寄せて紹介します。「Dagster の概念は分かったけど、自分たちのプロジェクトをスケールさせる書き方が見えてこない