速いしスケールする並列CSVパーサ作った紆余曲折話 - 俺とお前とlaysakura

この記事は↓に移転しました。 laysakura.github.io

[mooz]

madviseを使えばmmapでも性能出るのか / SSE 4.2の文字列命令でさらに高速化できそう http://dl.acm.org/citation.cfm?id=2556555

[n314]

ベンチマークツールfio

[Nyoho]

このCSVパーサもさることながら、こと紆余曲折をまとめて公開してくださっていることがとても有用ですね。ありがとうございます。

[agricola]

そこまでしてmmap使いたいんかreadでいいじゃんよー的な。

[rti7743]

madviseなんてあるのか

[FunnyBunnyDizzy]

madviceでオンメモリにプリフェッチすることでフォールトを軽減して高速化すると。どんくらいメモリ食うようになるんだろう。メモリヤバスならmadviceがプリフェッチ避けてくれたりするのかな。

[nilab]

速いしスケールする並列CSVパーサ作った紆余曲折話 - 俺とお前とlaysakura

[fan-tail]

『バージョン 0.1.0 を作ってみてSSD環境でベンチマークを取ってみたら全然スケールしなかった。寝た。』寝るの大事(*´･ω･)(･ω･｀*)ﾈｰ

[embedded]

madvise, fio

[usadamasa]

CSV並列パース処理実装の紆余曲折。システムコール大事。

[karupanerura]

madvise!!

[dekokun]

madviseにMADV_WILLNEEDを渡すんですな。

[kasumani]

速いしスケールする並列CSVパーサ作った紆余曲折話 年の瀬にどうしてもCSVを並列にパースしたくなって、PartialCsvParserというC++のライブラリを作った。 Tags: feedly, ifttt, recently read, saved for later from Pocket December 30, 2014 at 10:16PM via

[Sips]

csv

[comonsense]

fio使ってみよう.

[moznion]

madvise!

[tak4hir0]

速いしスケールする並列CSVパーサ作った紆余曲折話 - 俺とお前とlaysakura

[tyru]

mmap(2)で触る部分をmadvise(2)であわよくば(?)プリフェッチできる／fio使いやすそう

[ledsun]

並列読込のためにシステムコール探す話、面白かった

[gfx]

madvise(2) が効果的という話