Prefectで軽量なワークフローからk8sでの実行まで - Qiita概要 Python製のワークフロー管理システムPrefectで簡単なワークフローを作りながら使用方法や幾つかの機能を確認していきたいと思います。 尚、この分野ではApache Airflowがメジャーかと思います。Airflowとの比較についてはこちらのブログ(Why Not Airflow?)に書かれているので参考にして下さい。 Prefectの特徴 単発手動実行のワークフローが実装しやすいが、スケジュール実行も普通にできる。 Pythonの関数を定義していくことでワークフローを自然に構築できる。 タスク間のデータのやり取りが簡単にできる。 ワークフロー実行時に動的にワークフローを構成できる。 ワークフロー上のデータをパラメータ化して実行時に値を指定できる。 ローカルでのデバッグがしやすい。 本番運用はマネージドサービス(Prefect Cloud)を使用した方が良いが、一応自前でホステ
