[B! batch] tsuwatchのブックマーク

tsuwatch id:tsuwatch

batchに関するtsuwatchのブックマーク (2)

データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし
こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。冪等性を持つように冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか
tsuwatch 2022/12/31
batch
リンク
[公開版]社内バッチ処理ガイドライン - Qiita
このガイドラインについてこちらのガイドラインは社内のバッチ処理スクリプト開発にあたっての、安定運用等に関わるガイドラインを公開用に書きなおしたものになります。バッチサーバ規則基礎項目以下の要項を満たすことを確認するその他の用途で動作しているサーバ上での動作は行っていないこと運用期間中に想定しうるデータ量にてOOMキラーに殺されないこと想定の時間で終了することデータの読み込みは極力Read Replicaを見ていることデータの書き込みによる本番サーバへの影響が見積もれていること冪等性が担保されており、何度実行しても処理上の不具合は発生しないこと多重実行時に不整合が発生しないことエラー時の社内への通知が用意されていることエラー時の通知には再処理のための手順が揃っていること、もしくはそのドキュメントの場所が示されていること個人ユーザー下にログや成果物を絶対に書き込んで
tsuwatch 2014/12/08
Ruby

batch
リンク
1