OSSのJob管理ツールを使ってみた感想 - Qiita

先日ラスベガスで開催されたre:Inventに参加し、その際にデータ分析基盤系のセッションはほぼ参加したのですが、Job管理ツールの話がかなり出ていたのが印象的でした。 AWSにはData PipelineというJob管理サービスがあるのですが、それではなくOSSのJob管理ツールを使っているところが多い印象でした。 日本では自分の観測範囲だとまだ使っているところがあまり多くない印象ですが(実際自分もほとんど使ったことない)、いくつか候補を絞って触って見たので感想を書きます。 あくまでJenkinsしか使ったことがないような個人の感想としてお読みください。。 Airflow Airbnbが開発元 re:Inventでは多くのセッションで紹介されており、一番勢いがある印象を受けた。 依存関係はPythonで書く タスクの登録はUIからやるのではなく、コマンドラインから登録 Python力を前

[Fluss_kawa]

Jenkinsってjob管理ツールだったのか。

[wyukawa]

思うにJenkinsはCIツールでRundeckはデプロイツールというかサーバー操作ツールで、ともにジョブ管理ツールではないというのが僕の認識です。

[yogasa]

jenkinsをジョブスケというのか……

[hiroomi]

"Jenkinsになれた人ならRundeckが一番入りやすそう"

[Makeneko]

“Airflow”

[mapk0y]

job 管理ツールって可用性の確保が大変なんだよな～。この中ではどれが楽なんだろ

[taketaka-jp]

Jenkins - OSSのJob管理ツールを使ってみた感想 - Qiita #マリンバ2Log

[iekusup]

ほー。

[diveintounlimit]

つまり：Jenkinsでいい

[clavier]

Jenkins - OSSのJob管理ツールを使ってみた感想 - Qiita

[shinyaa31]

この中ではAirflowがやりたい事の実現度が高そうだな。触ってみるか。

[psfactory]

Jenkins - OSSのJob管理ツールを使ってみた感想 - Qiita

[HHR]

Airflow、Azkaban。JP1みたいの

[tora_05_036jp]

JenkinsのWorkflowでバッチ処理ガンガン回してるけどなぁ。さすがにJP1みたいなやつよりは分岐が不便だけど、まあ十分かな。

[fumikony]

Jobがコードで書けてほしい