バッチ処理の採用と設計を考えてみよう | メルカリエンジニアリング

こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指します。この反対の言葉として、オンライン処理があります。オンライン処理とは、お客様の操作を初めとしたイベントをもとに 逐次処理 されるものです。OLTP(Online Transaction Processing)とも言います。 本エントリでは、バッチ処理を採用するにあたり、どういったユースケースが適切なのかを整理して、今後のソフトウェアの設計の指針にできることを目指しています。今回は、「バッチ処理を採用するとき」と「バッチ処理の設計」の2つについて取り上げます。 バッチ処理を採用する

[koemu]

会社のブログを書きました。バッチについて体系的にまとめられるかの挑戦です。

[sifue]

バッチの突き抜け、本当に怖いんだよなぁ...。デイリーバッチの実行時間が最高のマシンスペックで24時間超えてしまいそうな時の恐怖感ヤバい。

[yukiyan_w]

これを思い出した https://mitomasan.hatenablog.com/entry/2016/02/17/232019

[aike]

バッチ設計の難しさについては、やねうらおさんのひよこの餌やりプログラムの話が好き。 https://yaneurao.hatenadiary.com/entry/20120625/p1

[togusa5]

泥棒市の裏側

[stibbar]

https://yaneurao.hatenadiary.com/entry/20120625/p1

[Geheimagent]

硬い。

[ueken65]

ちょうどバッチ設計してるとこなのでめちゃ勉強になった

[tmatsuu]

いいね。Jenkins/Sidekiqなどのミドルウェアはどこまで面倒見てくれるのかをきちんと把握しておくべし。

[Chisei]

読んだ

[chikuwa_it]

綺麗にまとまっている

[genie_apprentice]

勉強になった

[progrhyme]

よくまとまってる

[naopr]

バッチの書き方って暗黙知化しがちだけどこうやって言語化してもらえるのは本当にありがたい

[ninneko]

ここに書いてあることをどうやって実現するかが一番難しいところなんでは。。。適当にlambdaとかでやった挙句、死んでるのをよく見かける

[murashit]

めっちゃ良いこと書いてある

[nice_and_easy]

良い

[Kesin]

先輩から教わったり、コードから読み解いたバッチ処理の要件が言語化されていた

[su_zu_ki_1010]

処理時間の見積もりが一番厄介だよなぁ。次にリカバリー手順の確立。オンラインバッチはこけた時の影響範囲も事前に確認しておかないと画面にも影響が出ちゃうしね。

[seal2501]

突き抜けることが確定してる処理のチューニングばっかりやってた

[Makots]

当たり前だけど大事なこと。まとめありがたい。

[l83DK]

非常に参考になります

[h5y1m141]

自分がこれまで考慮したことがないような概念とかも網羅されて体系的にまとまっててありがたいなぁ。

[Akineko]

“バッチ”

[indication]

これを読むとJP1はよくできてると思う(使える箇所が限定的すぎるけども...)

[chimerast]

バッチ処理の基本が良くまとめられてる。新しく開発しても、ストリーム処理ではなく多段バッチ処理のアーキテクチャなんだなあ。多段バッチの方が問題発生時の調査・復旧しやすいからまあそうだよなあ。

[rhythnn]

ごきげんよう

[shikiarai]

分かっててもまとめて置かないと考慮漏れそうなんだよねこの辺

[khtno73]

あと、なんのバッチがいつ動いてるかがドキュメントとして共有/いつでも見られるようにしておくことかね。緊急メンテがバッチとかち合って事故るだのなんないように他人から引き継いだ案件ではまずチェックする。

[braitom]

バッチ処理について。バッチ処理の定義、処理時間や回復可能性などのバッチ処理の設計について書かれている。

[FukaEnogu]

バッチ処理の形態を体系的にまとめている。

[at_yasu]

いい話。設計の話は好き。

[hypermkt]

実務よりなバッチ処理で設計を丁寧にまとめた記事って見たこと無い。とても参考になります!