Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん

バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ

[jojo800]

dry-runあると助かる

[terazzo]

冪等と引数指定は規約に入れたい

[raimon49]

あるあるが多くて、見事な知見の言語化だ。

[kagamihoge]

バッチ処理の知識、本来であれば汎用機時代からの膨大な知恵の蓄積がどこかにあると思うんだけど見当たらない。RDBMSとかクラウドとか時代ごとの技術が違うのでそこは読み替えが必要だろうけども。

[natu3kan]

更新中にデータ読み出しされないように

[masayoshinym]

バッチに関してだけは汎用機経験しといて良かったってたまに思う。

[rryu]

バッチ処理は処理本体よりもトラブルシューティングやリトライ用の処理の比率が大きくなっていって複雑になっていくのが理解されないのがつらい。

[su_zu_ki_1010]

バッチは出来るだけ細分化して、シンプルにした方がテストもやりやすいと思う。

[marukot-ch]

いい記事。バッチ処理したくなったら読もう

[RabbitBit]

実際の運用経験を抽象化して、言葉にされている印象がある。バッチ処理・設計を行う方が最初に読む記事として、オススメできる。

[nilab]

Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん

[wiz7]

バッチ処理

[kkabetani]

バッチ処理の参考に

[naga_sawa]

バッチ処理のノウハウ

[razokulover]

知見固まってた

[tmatsuu]

いいね

[yanagikouta]

3日前に読みたい記事であるのでした

[iox]

“ 一時テーブルなどに変更結果やインサートデータを投入しておいて、更新クエリ一発で対象データをガッツリ書き換える”、"可能であれば冪等に実装する"

[zorio]

首が痛くなるぐらい頷いた。

[northlight]

バッチは本とかあってもおかしくないと思うんだけど、意外とない。

[pmint]

ロックファイルはロックにならないはず。/ データドリブンにするのが王道かと。処理対象か／処理済みか、いつ処理するか／されたかなどを全てデータ（DBレコード）で判断、全バッチを同じステートチャートに載せて。

[murasaki11]

知見だらけだ

[onefootinthegrave]

誰か突っ込んでるとは思うけど、更新予定の行は先にUロックとらなきゃ

[sh2]

なるほど

[catnapper_mar]

バッチについてのまとまった記事は初めてかも。

[toyama0919]

つEmbulk

[windish]

ありそうでないバッチにまつわる知見、貴重です。ベテランCOBOLerの書いた本とか無いのかな。

[oscdis765]

実行中の進捗状況を確認できるようにする、を加えて欲しい

[hagane]

バッチ処理、マスタ更新とかデータに直結する部分だから、実行怖い印象ある。失敗時のリカバーの方法は考えておかないと。

[fashi]

「感覚の話でアーキテクチャを決めてはいけない」 → 「理由をでっちあげて君だけのかっこいいデーモンを作り上げよう」 しびれる

[d_animal141]

Web系の自分が想像と障害で学んだバッチ処理・設計の基本

[shag]

batch って気軽に作れるので言語も思想もまとまらないよね〜。

[tarotheripper]

素晴らしい

[eichisanden]

実際に障害出して痛い目にあったことが多いな

[nn1021]

コメント欄も勉強になります。

[zeha]

いい基本やなー