タグ

2021年10月20日のブックマーク (1件)

  • AirflowでDAG実行時にGUI, CLI, REST APIからパラメータを渡す - valid,invalid

    Airflow webserver GUIの ▶️ 再生アイコンからTrigger DAGをクリックすると事前にDAG定義の内容で[DAG]が実行される。 ただ、以下のようなユースケースのために、実行するDAG(以下、DAG Run)にパラメータを渡したいことがある。 バッチによってはパラメータ付きで手動実行したい JenkinsのParameterized Build的な機能がほしい 一時的なデータ投入・更新バッチのために毎回DAG定義を書くのではなく、汎用的なDAGを用意してパラメータで実行するコマンドを動的に切り替えできると便利 Conf option DAG RunにJSON形式でパラメーターを渡す Conf というオプションがあり、様々なインタフェースから渡せる。 個人的には「2. GUIからパラメータ付き実行」が欲しかったもの。 1. CLIからパラメータ付き実行 CLIでは-

    AirflowでDAG実行時にGUI, CLI, REST APIからパラメータを渡す - valid,invalid