一休のデータフローをAirflowを使って実行してみる - QiitaAirflowにはExecutorというものがあって、 使用するExecutorによって処理の方法が並列になるのか直列にするかを選ぶことができます。 今回はCeleryを使用したExecutorを選択しています。 上記のコマンドだけで以下にアクセスすることができます。 Airflow管理画面: localhost:8080 Flower: localhost:5555 実装 まずは個別の処理を書きます。 例として1日分のホテル情報をDBから取得してきてCSVに保存する処理を書いています。 import pandas import datetime from jinja2 import Template def make_hotel_table(**kwargs): # データ取得するsqlの実行 #実行日時の取得 execution_date = kwargs.get('execution
