DigdagのPython APIを使う - Qiita

Digdagとは ワークフローエンジンと呼ばれるもので、データ分析基盤を構築する際に、Shell ScriptでPythonバッチを順に流しているような場合に、実行順序をyamlで定義できます。 serverモードというものがあって、複数ホストによる分散コンピューティングもできるので、場合によってはCeleryを導入しなくても、すべてDigdagで済ますこともできるのではないかと思い、調査を始めました。 ハマりポイント Language API - Python を使うに当たって、Pythonエンジニアが事前に知っておいた方がよいこと。 １．digdagのPythonパッケージはどこで配布されているか 次のサンプルを見てみましょう。 import digdag class MyWorkflow(object): def step1(self): digdag.env.store({'my_