データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし
こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか
Spring Batchのユースケース | Pulog
Spring Batchのユースケース 本稿では、自分が案件で Spring Batch を利用した際に色々試行錯誤して、結果どのように対応したかをまとめたり、自分は案件では使用していないですが Spring Batch を利用する際に知っておくと良さそうなことをまとめておきます。 Spring Batch の基本的な使い方は以前ChunkモデルとTaskletモデルの2パターンをそれぞれ掲載しているので、そちらを参照してくださればと思います。 Spring BootでSpring BatchのChunkモデルを試す Spring BootでSpring BatchのTaskletモデルを試す 複数のバッチJobを実装して、片方だけバッチを動作させたい Q. 複数のバッチJobを実装した状態で Spring Boot を起動するとどちらのバッチJobも動作してしまう。1月単位で動作させたい
SpringBatch徹底高速化 - omotenashi-mind
Spring Batch 関連記事一覧へ ここでは、「ファイルから入力した情報をDBに出力するバッチ処理」を例にパフォーマンスチューニングのポイントと効果をまとめます。 検証１：コミット周期の見直し コミット周期「1」で100万件の情報を登録する コミット周期「1」で100万件のデータを処理する場合、DBとのメッセージ伝送回数とDB側でのコミット処理回数は100万回行われることになります。 この場合、かなりのオーバーヘッドが発生することになり相当の処理時間が必要となります。 実際に測定してみました。 結果： およそ10時間 コミット周期「1000」で100万件の情報を登録する DB側のオーバーヘッドを解消するため、コミットの周期を「1」→「1000」に変更します。単純な計算ですが、これでDB側のコミット処理に要する時間が1/1000になることになります。 結果を測定すると、次の通りとなりま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
