巨大なCSVファイルをRailsで処理させる - Qiita
はじめに 20MBを超えるCSVの処理を行う必要が出てきて、右往左往したのでそのメモを残します。 当初は大きくてもファイルサイズは3MBだったので、リクエスト内で処理をさせていました。（この対応にも問題がありますが。。。） しかし、実際のデータをもらったら20MBを超えるファイルが一つ入っていて、リクエスト内で処理をさせるには限界が出てきました。 そこで色々模索して出した結論を載せておきます。 なお、本処理は業務の一環で発生するCSVアップロード処理になります。 頻度は年に数回というレベルのもので、以下のような対応をしています。 予算も時間もある方はデーターサーバーと遅延バッチ（もしくはスケジューラー）を組み合わせたほうが無難だと思います。 やりたい事 1系2系と言う一般的な冗長化しているサーバーで大容量のCSVをアップデートして、RDSにデータをインサートしたい。 困る点 冗長化されてい
Nginx設定のまとめ
はじめに 僕は盲目的にunicornを起動するためだけにnginxを使っていて、設定ファイルの内容とかをほとんど知らない。 なので、ここにnginxの設定内容をまとめる事で自分自身が覚えようと思う。 普段使う大抵の設定は記載しているつもりです。 記載内容は実際に試したものと試してないものが混在してるので、誤った設定などがあるかもしれないのでその辺はコメントでご指摘いただけると助かります。 インストール インストールについては僕が書くより他の人の記事を見た方がいいと思う。 centosに入れるなら以下の記事が参考になる。 CentOS6.xにてnginxの最新版をインストールする手順 CentOS 6.5でnginxを動かす為の最低限の設定 またchefでインストールする場合は以下の記事が役にたつ。 Chefでnginxを導入してみる ChefでNginxをインストールするときにハマった c
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
