タグ

ブックマーク / qiita.com/lucky0707 (1)

  • 遅いpandasのread_csvを高速化する方法(dask) - Qiita

    目的 pythonで重いcsvファイルを読み込む時に、pandasだと時間がかかる。 そこで早いと噂のdaskを試してみる。 ここでは、daskの中身には詳しく触れず、使い方を説明する。 ちなみに、私が5GBのcsvファイルをdaskで読み込んだ時は、pandasを使用した時よりも10倍くらい早く読み込めた。 daskってなに? daskとはpandasのようなライブラリの一つ。 daskは、pandasのDataFrameの処理を応用しているから、基的にpandasと同じ動作をする。 早くなる理由は、並列分散を使用しているから。 詳しくはこちらの方の記事をご覧ください(めちゃわかりやすい) 使い方 anacondaをダウンロードした人なら基的に何もせずに使える。 pandasならば、

    遅いpandasのread_csvを高速化する方法(dask) - Qiita
  • 1