WindowsでワークフローマネージャのAzkabanを動かす - Qiita
Hadoop向けのワークフローマネージャのAzkaban（https://azkaban.github.io）をWindowsで動くようにパッチをあててビルドする。 Azkabanは、Hadoop向けといいつつも、コマンドをスケジュールに合わせて動かすことや複数の依存関係のあるジョブを動かすことができるので、Hadoopと関係なく、定期的に動かしたいタスク、特に複数の依存関係のあるタスクを何でも動かすのに利用できる。 ジョブは、簡単なプロパティ形式の記述をするだけでよいし、Web UIは、シンプルで使いやすく処理時間のグラフなども表示される、Web APIもあるのでAzkaban自身を自動処理させることもできることが良い点。逆に、いまひとつな点は、Web UIから、ジョブの追加を行うことができないので、予めテキストエディタで編集して .zip形式でアーカイブしてアップロードする必要がある。
OSSのJob管理ツールを使ってみた感想 - Qiita
先日ラスベガスで開催されたre:Inventに参加し、その際にデータ分析基盤系のセッションはほぼ参加したのですが、Job管理ツールの話がかなり出ていたのが印象的でした。 AWSにはData PipelineというJob管理サービスがあるのですが、それではなくOSSのJob管理ツールを使っているところが多い印象でした。 日本では自分の観測範囲だとまだ使っているところがあまり多くない印象ですが(実際自分もほとんど使ったことない)、いくつか候補を絞って触って見たので感想を書きます。 あくまでJenkinsしか使ったことがないような個人の感想としてお読みください。。 Airflow Airbnbが開発元 re:Inventでは多くのセッションで紹介されており、一番勢いがある印象を受けた。 依存関係はPythonで書く タスクの登録はUIからやるのではなく、コマンドラインから登録 Python力を前
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
