Airflowのユニットテストモード実施を嵌りなく進めるための設定をまとめてみた | DevelopersIO
Airflowのユニットテストモードを実施しようと設定していたところ、なかなか意図した挙動にならず、ソースコードを辿った結果分かったことをベースに書いてみました。 はじめに Airflowの機能を一部使ったロジックのテストを検討しました。問題は既にあるユニットテストに載せられるのかどうか。 テストを実行するまで必要な手続きをまとめてみました。 Airflowが読み込む設定ファイル Airflowの設定は、以下の順で優先されます。 AIRFLOW__<SECRION>__<KEY>に設定された値 AIRFLOW_CONFIGに設定されたファイルの内容 airflow.cfg では、テスト用の構成はどうなるか、というと AIRFLOW__<SECRION>__<KEY>に設定された値 AIRFLOW_TEST_CONFIGに設定されたファイル unittests.cfg の順になります。 Ai
初めて触るAirflow | DevelopersIO
最近、業務でAirflowを初めて触りました。調査したこと、試しに動かしてみたことなどまとめてみます。 Airflowとは Apache Airflowはいわゆるワークフローエンジンと言われるツールの一種で、 複数のタスクの実行順序を定義するワークフローの作成、実行のスケジューリング、監視などを行うことができます。AirbnbのMaxime Beauchemin氏によって2014年10月に開発され、2016年にはApache Incubatorプロジェクトになっています(参考)。 Airflowでは、DAG（有向非巡回グラフ）でワークフローを表現します。 その基本的なコンセプトについては下記の記事で解説されていますので、ご参照ください。 Airflowのコンセプトと仕組みを理解する とりあえず試してみる まずは手元のPC (Mac) で試してみます。 簡単に動かせるDockerイメージとD
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
