タグ

ブックマーク / zenn.dev/notrogue (1)

  • Airflow Deferrable Operators

    クリスマスも年の瀬も近づいていますが、新年来てほしくないですよね?明日も来てほしくないですよね?時の進みをDeferしたいですよね? Airflowのドキュメント見ていたら、"Defer"という魅力的なキーワードを見つけたので調べてみました。 tl;dr 2.2でDeferrable Operatorというのが出たよ 2.0で登場したSmart Sensorを置き換えるよ Pythonの非同期IOの仕組みを使い、Workerではない場所(Triggerer)で処理を待つよ 使えるOperatorはまだ少ないよ AWS/GCPのmanaged Airflowでは使えないよ。Astrnomerか自前の環境か必要だよ 登場の背景 Deferrable Operatorですが、基的にはSensorを改善するものです。 (ただし、外部リソースにアクセスするOperator全般に使えるらしい) その

    Airflow Deferrable Operators
  • 1