はじめに 20MBを超えるCSVの処理を行う必要が出てきて、右往左往したのでそのメモを残します。 当初は大きくてもファイルサイズは3MBだったので、リクエスト内で処理をさせていました。(この対応にも問題がありますが。。。) しかし、実際のデータをもらったら20MBを超えるファイルが一つ入っていて、リクエスト内で処理をさせるには限界が出てきました。 そこで色々模索して出した結論を載せておきます。 なお、本処理は業務の一環で発生するCSVアップロード処理になります。 頻度は年に数回というレベルのもので、以下のような対応をしています。 予算も時間もある方はデーターサーバーと遅延バッチ(もしくはスケジューラー)を組み合わせたほうが無難だと思います。 やりたい事 1系2系と言う一般的な冗長化しているサーバーで大容量のCSVをアップデートして、RDSにデータをインサートしたい。 困る点 冗長化されてい