概要 仕事でAirflowを触る機会があったので、そこで調べたことなどをまとめてみたいと思います。 Airflowとは Airflowは、処理(タスク)を順に実行したり、監視やスケジューリングができるフレームワークとなっています。 例えば、ETL処理(データの抽出、変換、ロード)を行うことに適しています。 Airflowの用語 Dag Airflowは一連のジョブ(処理のかたまり)をDagで定義します。 Dagとは、有向非巡回グラフ(Directed Acyclic Graph)のことで、1方向で処理を順に実行していくものになります。ETLでは、ロードは抽出、変換を先に実行しなくてはならないため、抽出→変換→ロードの順で処理を組み、Dagを作成することになります。 Operator 処理(タスク)を定義するテンプレートのようなもの。 様々なOperatorが用意されていて、Bashで処理を