本記事は、オープンソースのワークフローエンジンである Apache Airflow の説明と実際のハンズオンを記載する。 AWS では、マネージドサービスとして 2020年11月に Amazon Managed Workflow for Apache Airflow がリリースされたが、そちらは本記事に併せて今後投稿予定。 #Apache Airflowとは Airflowは、2014年にAirbnb社が開発したオープンソースであり、2016年より Apache財団となる。開発言語は Pythonで、ワークフローエンジンに該当する。 Airflowは、予め決められた順序を基に、処理を実行するワークフローをプログラムで作成する。また、スケジュールや監視を行う事が可能。 ワークフローはタスクの有向非巡回グラフ（DAG）を作成する事により、タスクを実行する。 DAGとは DAGとは有効非巡回グラ
