続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん

バッチ処理というのがそれ単体で勉強するのが難しく勉強しようとすると何に手を付けるべきかさっぱりわからないということは、先日のブログで述べたとおり。 自分が経験の中で得てきた知見は正しいのかどうか、世間の人に見てもらいたかったというのが書いた動機。 そして、新たな視点や指摘をゲットしてより不測の事態を考慮できている最高なバッチを作りたいという目的があったわけだ。 で、いろいろな意見をもらったのだけどその中で特に辛いと感じたのはこれ。 基幹システムにおけるバッチ処理みたいなものに関する知見については、カジュアルに学ぶ方法はありません。それを体系化した知識として整理した上で、実装できる組織があるんなら、それでメシが食えるんじゃないですかね。— 太一 (@ryushi) 2016, 2月 18 読んでいると 「俺達は障害でつらい思いをしてるし当然先人達も障害でつらい思いをしているはずだ。 なのに、

[teppeis]

突然のボス登場でウィルキンソン吹いた

[rryu]

結局、バッチ処理の9割くらいは正常に動かなかったときの対処のための処理なんだよなあ。

[wdoomer]

クソみたいに長いSQLを書いて障害を起こして、それを別の”クール”な長いSQLに書き換えて数百倍のパフォーマンスを得るという最高の体験ができる。”

[khtno73]

この辺の知見は基幹のバッチでもだいたい一緒。いちいちうなずけるプラクティカルなエントリー。

[su_zu_ki_1010]

バッチ1本につき、登録更新削除するDBは1DBのみ、それも処理の最後に実施、というのが基本的なルールだと教わった。長いバッチ、かつ複数DBをカジュアルに登録更新削除するバッチはロールバックを考慮したとしても嫌。

[digitalglm]

続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん: 2016 - 02 - 19 続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 バッチ処理…

[pmint]

全部Web系で学んどこうよ。パイプライン処理はバッチだよ。/ 単機能・単処理で対象全件を処理して終わることが大事。処理できなかったデータこそログ出力して、担当者が判断すべき。例外処理など豪華にするほどダメ。

[kimutansk]

実行状況確認手段用意、異常時アラート、DryRun、復旧手順／冪等性確保、環境差分考慮、一時ディレクトリの扱い、リソース管理と依存制御、どれも重要ですね。

[okady]

ボスのおふざけのせいで大事な話が頭に入ってこない。

[sonota88]

インクレディブル・マシーンなつかしい

[oscdis765]

採用された嬉しい。時間計算量、空間計算量が入力に対してどのオーダーになるのか把握しておいて開始時に見積もる、とかもあるかな。これもバッチに限らないけれど

[wyukawa]

バッチに関してはいくつか思うことはあるけどAzkaban使えば割と解決するんじゃないかな

[rgfx]

バッチ話、Asakusa frameworkが何を目的に、どこに気をつけて設計されたかでそういう話があったかなーとうろ覚えで。 http://www.asakusafw.com/techinfo/methodology.html　http://d.hatena.ne.jp/okachimachiorz/20120121/1327146544

[snowcrush]

バッチ処理周りのフレームワークって結構あるし、そのエコシステムを提供して飯食ってる企業もいっぱいある気が。そりゃどんな状況でも適用できる銀の弾丸はないけどさ。

[japanitnt]

続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん: 2016 - 02 - 19 続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 バッチ処理…

[oooooo4150]

“障害を起こさないバッチ処理がかければ最高なんだ。 バッチ処理の知見を体系的にまとめて最高の人生を送ろう”

[shimojomasatsugu]

あらかじめ制御ファイル置いておいてfcntlなんかでファイルロックを取って多重起動判定すれば解放問題から解放されるかも。

[khtokage]

素晴らしい。

[Rinta]

いい記事だ。

[nnhrsk]

地味にこれ関連のまとめってなかった気がする

[kinushu]

長いSQL書き換えて数百倍パフォwww 楽しいね確かに。

[k0yoshitsugu]

"クソみたいに長いSQLを書いて障害を起こして、それを別のクソみたいに長いSQLに書き換えて数百倍のパフォーマンスを得るという最高の体験ができる。"

[shngmsw]

拾われてたー。今まさにバッチ開発中なのでまだ間に合いそうなところは取り入れたい。