Rubyで大規模なデータを高速にCSV出力する - Qiita

はじめに とある理由でブロックチェーンのデータを読める形にしてCSV出力する機会があった. その際にブロックのデータ、トランザクションのデータ...と順番に出力していたらとてつもなく時間がかかっていたので高速化することにした. この記事はその時の対策の記録である. 同様の問題で困っている方の参考になれば嬉しい. やりたいこと 1.ブロックチェーンデータの読み取り 2.データを加工してCSV出力 ← ここが今回の課題 3.CSVを使ってデータベースにインポート 結果 高速化前は2時間かかっていた処理が6分で終わるレベルまで高速化することができた. ベースプログラム 実際に使っていたプログラムはそのまま載せるわけにはいかないので多少簡略化して載せる. require 'csv' block_file = CSV.open("block.csv", "w") tx_file = CSV.open