社内の問題を解決するためにワークフローエンジンを開発した話

要約 既存の ETL パイプラインの管理を効率化するため、YAMLでワークフローを定義し、実行できるツールを開発しました。 なぜ Airflow や Prefect を使わないのか？ Airflow や Prefect は素晴らしいツールですが、これらのツールでワークフロー（DAG）を定義するには、Python でコードを書く必要があります。 私が関わっている環境では、すでに数十万行のシェルスクリプトや Perl スクリプトのコードがあります。この上に Python のレイヤーを重ねれば、さらに保守が難しくなってしまいます。また、既存のコードを Python に書き換えることも現実的ではありません。 そのため、プログラムを書かずに、ノーコード（YAML ファイル）でワークフローを定義でき、既存のプログラムをそのまま利用できる軽量なツールを開発することにしました。 Dagu の仕組み Dag

[sh19910711]

"cron と Airflow の間の溝を埋める中間的なワークフローエンジンとして dagu を開発することにしました / 開発目的: DBMS や、デーモンプロセス、高い学習コスト無しで、DAG を管理できるようにすること"