Airflowのユニットテストモード実施を嵌りなく進めるための設定をまとめてみた | DevelopersIO
Airflowのユニットテストモードを実施しようと設定していたところ、なかなか意図した挙動にならず、ソースコードを辿った結果分かったことをベースに書いてみました。 はじめに Airflowの機能を一部使ったロジックのテストを検討しました。問題は既にあるユニットテストに載せられるのかどうか。 テストを実行するまで必要な手続きをまとめてみました。 Airflowが読み込む設定ファイル Airflowの設定は、以下の順で優先されます。 AIRFLOW__<SECRION>__<KEY>に設定された値 AIRFLOW_CONFIGに設定されたファイルの内容 airflow.cfg では、テスト用の構成はどうなるか、というと AIRFLOW__<SECRION>__<KEY>に設定された値 AIRFLOW_TEST_CONFIGに設定されたファイル unittests.cfg の順になります。 Ai
初めて触るAirflow | DevelopersIO
こ�のまま実行することもできますが、サンプルで入っているDAG (dags/tuto.py) を少しだけ修正することをお勧めします。dags/tuto.py の start_date を適当に最近の日付に修正しましょう。 default_args = { "owner": "airflow", "depends_on_past": False, "start_date": datetime(2015, 6, 1), # ここを適当に最近の日付に修正 "email": ["airflow@airflow.com"], "email_on_failure": False, "email_on_retry": False, "retries": 1, "retry_delay": timedelta(minutes=5), # 'queue': 'bash_queue', # 'pool': '
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
