エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Airflow Deferrable Operators
記事へのコメント1件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Airflow Deferrable Operators
クリスマスも年の瀬も近づいていますが、新年来てほしくないですよね?明日も来てほしくないですよね?... クリスマスも年の瀬も近づいていますが、新年来てほしくないですよね?明日も来てほしくないですよね?時の進みをDeferしたいですよね? Airflowのドキュメント見ていたら、"Defer"という魅力的なキーワードを見つけたので調べてみました。 tl;dr 2.2でDeferrable Operatorというのが出たよ 2.0で登場したSmart Sensorを置き換えるよ Pythonの非同期IOの仕組みを使い、Workerではない場所(Triggerer)で処理を待つよ 使えるOperatorはまだ少ないよ AWS/GCPのmanaged Airflowでは使えないよ。Astrnomerか自前の環境か必要だよ 登場の背景 Deferrable Operatorですが、基本的にはSensorを改善するものです。 (ただし、外部リソースにアクセスするOperator全般に使えるらしい) その