Airflow - データパイプラインのスケジュールと監視をプログラムしてみた - Qiita

Airflowを導入するとcronのバッチ処理でエラーが起きてログファイルを漁った結果、Log出力が甘くて原因特定できないぐぬぬぬぬもうやだまじつらい、みたいなことが仕組みで防げるようになります。 Airflowってご存知でしょうか？ Airbnb社がオープンソースで公開しているデータパイプラインのスケジュールとモニタリングツールです。簡単に言うとジョブツリーを構築できる高機能なcron。Python2系で開発されていてpip install可能なオープンソースのソフトウェアです。AWSが年1で開催している大規模イベントre:Invent 2015で複数の会社がAirflowを利用していると発表し注目を集めました。Yahooの発表を読んで興味を持ちました。この記事はAirflowをプロジェクトに導入すべきか検討、検証したメモです。 ■ プロジェクトの解析タスクをAirflowに乗せてみた

[nyasba]

再起動しないと設定反映できないのはつらいけど、気になる。

[kimutansk]

タスクの登録にAirflow再起動が必要なのは厄介ですね。後はリッチな画面付きでジョブをツリーか出来るcronと考えればいいと。完全に定常タスク用ですか。

[wyukawa]

タスク反映にAirflow再起動が必要なのは確かに糞だな。。。

[azumaon]

Airflow - データパイプラインのスケジュールと監視をプログラムしてみた - Qiita お仕事のために…φ(..)メモメモ

[toyama0919]

must read