Python で大量のファイルを並列で速く読み込む - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

[grafi]

Qiitaのコメントにも書いたけど、十分に速いSSD使ってるならCPU律速です。PandasのCSVパース処理はGIL開放するようです。あとここではあんまり関係ないけど、ファイルが小さい場合はデータフレームのオブジェクト生成が律速

[HHR]

GIL。コメントが本体感ある。pandasはcの実行なのでGILを開放する

[misshiki]

試してみる。

[bob3]

rで試してみよう。vroom::vroom()使えば結構速いはず。

[mzi]

なるほど。ということはマルチプロセスにすべきなんだね。『Python (CPython) のマルチスレッドは GIL (Global Interpreter Lock) の制約があり、複数のスレッドが同時に Python バイトコードを実行することができない。』

[mohno]

マルチプロセスで高速化するなんて、ファイルシステム最強ってこと？と思ったけど、コメントによればファイルI/OじゃなくCSVのパースで時間がかかっているだけなのか。ふーん。

[endo_5501]

“ファイル読み込みのような I/O バウンドな処理は高速化できるかもしれないが”

[igni3]

マルチスレッド/マルチプロセスで速くなるのはCSVのパース処理に食われてるからかもしれない。

[laughing]

dask とか vaex とどっちがいいんかな

[roirrawedoc]

同じ二時記憶装置にアクセスしてるのにCPUを並列化したら速くなるって発想がよくわからない／SSDならまだゆとりあるのか。HDDかと思った

[topiyama]

マルチプロセスとマルチスレッドの差はGIL制限（『複数のスレッドが同時に Python バイトコードを実行することができない』）だって。

[aipacommander]

ほとさん

[rokujyouhitoma]

cythonでnogil

[agricola]

あんまりワークユニットのサイズを小さくすると、かえって遅くなるから注意しましょう。