PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog

今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +

[akiramaz]

追試験する

[De_Lorean]

“dask”

[yappynoppy]

“Dask”

[tea2ka]

“dask”

[naga_sawa]

高速にCSVを読むには『daskを使うのが速くて実装が楽です！』

[ron_zacapa]

今後の実装にて、参考にする。

[kenkoudaini]

で、CSVの文字コードは？

[elu_18]

Python(Pandas)でCSV読む場合のメモリと時間を調査しました。 だいたい網羅したと思います。 結論的にはdaskを使おう! あとmemory_profilerテメーは許さん PythonでCSVを高速＆省メモリに読みた… https://t.co/yMR5EAAFxN

[santo]

Pickle そんな重かったんか。しまった、あのコード遅くなったのはこのせいかも。

[kyopeco]

今日試す

[fkei]

a

[yubessy]

めちゃくちゃ助かる

[call_me_nots]

“dask.dataframe.read_csv()”

[yoiIT]

過去にこれ知ってれば的なことはあったけど、CSV処理とかもうやりたくない。

[masudaK]

知っとくと何かと便利そう。ただ、CSVにはあまり縛られたくない。

[dai0916]

“GC)”

[karaage]

知見

[mooz]

dask