[B! csv] takanashのブックマーク

Railsアプリの処理を100倍以上に高速化して得られた知見 | Recruit Tech Blog

はじめまして。2019年4月から妊娠・出産アプリ『Babyプラス』の開発チームにJOINした濱田です。『Babyプラス』のバックエンドはRailsで実装されているのですが、とあるCSV生成処理がとても遅かったので100倍以上に高速化しました。この過程でRailsアプリの処理高速化に関する以下の知見が得られたので、具体例を交えて共有します。この知見は、ActiveRecordを使用してMySQLなどのRDBMSからデータ抽出をする様々な場面で活用できると思います。いわゆる「N+1問題」を起こさないのは基本「ActiveRecordインスタンスの生成コスト」はそれなりに高い pluckはjoinsと組み合わせることで他テーブルのカラム値も取得できる前提: DBスキーマとデータ規模今回の処理高速化に関わるモデルのDBスキーマとデータ規模は以下の通りです。なお、これらは本エントリ向けに少

takanash 2019/08/05

リンク

csvファイルのデータからsqlite3データベースへうつす、内容の表示 - いももちのきもち

Webサーバ上でデータベースを作ろうと思ったので、まずSQL文の練習をすることにしました。 csvファイルでデータをもらった後、軽量なデータベースであるsqlite3にデータを移しました。 python組み込みのsqlite3モジュールを使用しました。データの用意まずサンプルとしてcsvファイルで受注表を用意しました。 jyuchuhyo.csv 受注番号,顧客コード,商品コード,受注個数,納品日 100011,001,1002,30,20110501 100012,002,1001,20,20110501 100013,003,1003,10,20110501 100014,001,1003,15,20110502 100015,003,1101,15,20110503jyuchuhyo.py # -*- coding: utf-8 -*- import csv import sql