バッチ処理、ジョブ管理について書いてみる - wyukawa's diary

僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP

[daimatz]

考えていたことがだいたい書いてあったしやっぱそんな感じだよねって気になった

[kakku22]

前職だと JP1 使ってた．今だと Luigi が人気なのかなぁ？ / "僕はAzkabanを使っていますが、開発は停滞しており将来は暗いです。"

[takadayuichi]

以前見てたシステムとすごく近かった．どこも結構こういう感じなんだなー

[lesamoureuses]

なるほどこういうことをやるのか “MySQLの場合はinsert into ... on duplicate key update ...で良さそうに見えるがdeleteしてinsertした方が安全である”

[muddydixon]

最後の例をなんとかするやつ作ってる

[teracy_junk]

冪等性

[katzchang]

delete-insertは、例えば日次処理なら日付でがっつり消したり、それが難しければ集計ジョブIDみたいなものを持ったりする必要がある。別ジョブにしてます。

[Rinta]

冪等。ハマると深い。あまりハマりたくない。だからちゃんとロールバックしろよおおおおおぉぉぉあああああああ！

[scalar]

ちょうど Luigi と BigQuery でバッチを書き始めたから、考え方の参考になる

[toyama0919]

ほうほう、azkabanというのがあるのか。

[iekusup]

ほー。

[key_amb]

Koyomi はここまで高機能にする気はないのだけど、こういうバッチ・ジョブ書く人の意見はとても知りたい。

[progrhyme]

Koyomi はここまで高機能にする気はないのだけど、こういうバッチ・ジョブ書く人の意見はとても知りたい。

[nubes]

良記事すぎる。

[wwolf]

冪等性重要