Airflow Deferrable Operators

クリスマスも年の瀬も近づいていますが、新年来てほしくないですよね？明日も来てほしくないですよね？時の進みをDeferしたいですよね？ Airflowのドキュメント見ていたら、"Defer"という魅力的なキーワードを見つけたので調べてみました。 tl;dr 2.2でDeferrable Operatorというのが出たよ 2.0で登場したSmart Sensorを置き換えるよ Pythonの非同期IOの仕組みを使い、Workerではない場所(Triggerer)で処理を待つよ 使えるOperatorはまだ少ないよ AWS/GCPのmanaged Airflowでは使えないよ。Astrnomerか自前の環境か必要だよ 登場の背景 Deferrable Operatorですが、基本的にはSensorを改善するものです。 （ただし、外部リソースにアクセスするOperator全般に使えるらしい） その

[sh19910711]

"2.2でDeferrable Operatorというのが出た / 2.0で登場したSmart Sensorを置き換え / Pythonの非同期IOの仕組みを使い、Workerではない場所(Triggerer)で処理を待つ / 12/22現在、GCPのCloud Composer・AWSのMWAAともにDeferrable Operator使えません"