Railsのバッチ処理のコツ - tech-kazuhisa's blogはじめに Railsでギョーミーな仕事を行う上で欠かせないのがバッチ処理です。 日々上位システムから送られてくる膨大なデータを迅速に取り込み、集計処理を行いDBに格納する。上位システムは何層も構成されており、我々が集計処理に使える時間はエンドユーザーが出社してくるまでの数時間... みたいなシチュエーション無いですか？ 今回はバッチ処理を行うコツについて書いてみようと思います。 想定される処理 CSVファイルの取り込み 集計処理 集計結果をDBに格納 普通にrake taskを書いて処理できてれば今回の記事は必要ありません。そっとブラウザを閉じて下さい。そうでない場合、多くの人が直面する問題は次のようなものが考えられます。 IDのオーバーフロー メモリが食いつぶされてバッチ処理が停止 それでは順番に説明します。 IDのオーバーフロー 大量のデータを日々のバッチで取り込んでいる場合、IDがオ
