CSVエクスポートはmysqlに任せた方が1000倍早い - yoshitetsuの日記

CSVでエクスポートさせるときFasterCSVはよく使うけど、レコード数が増えればそれに比例して処理スピードが鈍化する。 People.find(1, :include=>:profiles) としたとき、もしhas_manyしているprofileが1000個あった場合、そもそもオブジェクトのnewがボトルネックになる。これをさらにFasterCSVでeach回してcsv化するとなるとさらに遅い。1000ならまだいけるが、1万、10万というオーダーになると終わる。 なので、こういうときはmysqlがバックアップ用としてサポートしているsqlを使う。直接mysqlにsqlを投げてcsvを吐いてもらおう。 Profile.connection.execute("SELECT id, name, created_at from profiles where people_id = 1 INTO

[willnet]

FasterCSVとかいうプラグイン使うよりもmysql直でcsvを吐いた方が早いよという話

[koumiya]

mysqlでcsvエクスポートするとインスタンス生成のコストを抑えられるので早い