最近、業務でAirflowを初めて触りました。調査したこと、試しに動かしてみたことなどまとめてみます。 Airflowとは Apache Airflowはいわゆるワークフローエンジンと言われるツールの一種で、 複数のタスクの実行順序を定義するワークフローの作成、実行のスケジューリング、監視などを行うことができます。AirbnbのMaxime Beauchemin氏によって2014年10月に開発され、2016年にはApache Incubatorプロジェクトになっています(参考)。 Airflowでは、DAG(有向非巡回グラフ)でワークフローを表現します。 その基本的なコンセプトについては下記の記事で解説されていますので、ご参照ください。 Airflowのコンセプトと仕組みを理解する とりあえず試してみる まずは手元のPC (Mac) で試してみます。 簡単に動かせるDockerイメージとD