Airflow でDAGを任意のタイミングで一度だけ実行する方法
2021-10-12 Airflow で作成したDAGを自動で定期実行せずに、あえて手動実行で一度だけ実行したい場合もある。 DAGのオプションを以下のように設定する。 schedule_interval を “@once” に設定することで、一度だけDAGが実行されるis_paused_upon_creation を True に設定することで、DAGが作成時に自動的に実行されず、DAGが停止状態で作成される。 デフォルトではFalseとなっており、自動実行される。 from airflow import DAG with DAG( dag_id="sellerscore_initial_batch", # NOTE: dosen't need to repeat schedule_interval="@once", # NOTE: we have to manually start t
Apache Airflow Tips and Best Practices
Photo by JJ Ying on UnsplashWhen I first started building ETL pipelines with Airflow, I had so many memorable “aha” moments after figuring out why my pipelines didn’t run. As the tech documentation never covers everything, I tend to learn much more about a new tool from making mistakes and reading source code from good developers. In the blog post, I will share many tips and best practices for Air
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Airflow: Set dag to not be automatically scheduled
