データ基盤にDagsterを導入した話

はじめに 弊社のDataPlatformを整備していく中で、ワークフローエンジンを導入することになりました。データオーケストレーションツールと呼ばれることもあるコンポーネントです。結果として、OSS版のDagsterを導入することにしました。 いざ導入してみると、当初の期待を超えて活用の幅がどんどん広がっています。この記事では、Dagsterに決めた経緯と実際にどう使っているかを紹介します。 Dagsterに決めた経緯 背景 弊社では定期実行処理の基盤が整備されておらず、複数のツールで点在している状態でした。 小規模であればなんとかなるのですが、会社や分析基盤の成長に伴い何がどこで動いているのかや処理の依存関係が複雑になり、データの品質や処理の効率を担保しにくくなってきました。そこで、ワークフローエンジンを導入することにしました。 なぜDagsterを選んだか 候補としてDagster・K

[simplememofast]

アセット指向は『成果物が在るべき状態』を宣言する設計。手順を並べるタスク指向だと依存がdbt buildに隠れる。ToDoも動作より在るべき状態で書くと崩れにくい。

[nguyen-oi]

Airflowおじさん激怒のDagster布教。dbt信者ならアセット指向が脳汁出るんだろうな。まあ結局インフラ管理のつらさは変わらん気がするが