Airflow - データパイプラインのスケジュールと監視をプログラムしてみた - Qiita
Airflowを導入するとcronのバッチ処理でエラーが起きてログファイルを漁った結果、Log出力が甘くて原因特定できないぐぬぬぬぬもうやだまじつらい、みたいなことが仕組みで防げるようになります。 Airflowってご存知でしょうか？ Airbnb社がオープンソースで公開しているデータパイプラインのスケジュールとモニタリングツールです。簡単に言うとジョブツリーを構築できる高機能なcron。Python2系で開発されていてpip install可能なオープンソースのソフトウェアです。AWSが年1で開催している大規模イベントre:Invent 2015で複数の会社がAirflowを利用していると発表し注目を集めました。Yahooの発表を読んで興味を持ちました。この記事はAirflowをプロジェクトに導入すべきか検討、検証したメモです。 ■ プロジェクトの解析タスクをAirflowに乗せてみた
OSSのJobSchedulerを使ってジョブ管理 - Tech-Sketch
皆さん、Job管理はどのように行なっていますか？ 簡単なものであればcronで実行している方も多いかと思います。 ジョブ同士に関連を持たせたりと複雑な管理をする場合には JP1 、 A-AUTO 、 Tivoli 等の商用ツールを利用する場面もあります。 OSSのジョブ管理ツールとしては Hinemos が有名ではないでしょうか。 今回紹介するのは、OSSで、かつ非常に多機能なジョブ管理ツールである「 JobScheduler 」です。 JobSchedulerは、ドイツの企業である「 Software-und Organisations-Service GmbH (以降、SOS社とする)」が開発を行なっています。 JobSchedulerは非常に有用な機能を多く含んでおり、 また、ヨーロッパを中心に非常に多くの利用実績があります。 金融機関のシステムなど、ミッション・クリティカ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - gresrun/jesque: An implementation of Resque in Java.
https://github.com/facebookarchive/hadoop-20/tree/master/src/contrib/corona
