Ruby 2.6.0とより高速なcsv - 2018-12-25 - ククログ

Rubyの標準添付ライブラリーのcsvをメンテナンスしている須藤です。 歴史 csvは名前の通りCSVを読み書きするための便利ライブラリーです。 もともとRuby本体とは別に開発されていたのですが、Ruby 1.8.0のときにRuby本体にバンドルするようになりました。dRubyやREXMLがRuby本体にバンドルされたのも同じタイミングです。Ruby 1.8.0のときにバンドルするライブラリーをすごく増やしたのです。（その頃の様子がわかるURLをここに置いておきたかったけど見つけられなかった。。。） Rubyではcsvのようにrequireするだけで使えるライブラリーを「標準添付ライブラリー」と呼んでいます。Stringのようにrequireしなくても使えるライブラリーは。。。なんだろう。組み込みクラスかしら。 その後、Ruby 1.9.0のタイミングで実装をFasterCSVに置き換え

[sue445]

FasterCSVよりも速いって実質秒速CSVでは #言ってみたかっただけ

[sonots]

Cベースのfastest-csvに置き換えないのはメンテナビリティとかの問題ですかね

[u1tnk]

ありがてえ

[mas-higa]

“requireしなくても使えるライブラリーは。。。なんだろう” るりま勢なみだ目

[tkmkg8m]

loopよりwhile true、ループ内でCSV.generate_lineするよりCSVインスタンスを使い回すあたりは、CSV関係なく書き方に少し気を配るだけのお手軽速度改善として使えそう

[ShigeakiYazaki]

おもしろい。知らずに使っててもったいない気持ちになる

[seal2501]

ループ高速化の参考になるなぁ

[wata88]

面白い

[yujiorama]

チューニングの道のり。Arrow が最速

[shozzy]

とても参考になる。RubyでのCSVの処理速度を極めるならApache Arrow、覚えておこう。／Cを使わないPureRuby実装のメリットってなんなんだろ？(純粋にわからないので知りたい)

[Nyoho]

CSVのパースの高速化の話初めて読んだ。面白かった。

[sezemi]

“次のような改良をしていきたいです。興味がある人は一緒に開発しましょう。” うまいなー

[ttanimichi]

“私のオススメはApache Arrowです。Apache ArrowはCSV用のライブラリーではありませんが、CSVパーサーもついています。Apache ArrowのCSVパーサーを使うとfastest-csvよりもさらに数倍高速です”

[june29]

読み物としておもしろかった！そして感謝。

[iga_k]

須藤さんすごい!

[tmtms]

昔Ruby標準のCSVがメチャクチャ遅かった時に作ったLightCsvってのもStringScanner使って速くしたわー。10倍くらいにはなったな。互換保ったまま速くするのは大変そう。

[takeda25]

fastest-csvへのリンク文字列がfaster-csvになってる→修正済み

[fukken]

地道で読んでて楽しい

[gfx]

結論からいうと arrow gem を使えば高速になった標準添付モジュールのcsvよりさらに高速にcsvを読み込めるということ？

[ksss9]

csv高速化最高

[ota42y]

前のrubykaigiのLTがこういう風に進化したのかなー

[joker1007]

コツコツ積み重ねてあるなあ。