エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
遅いpandasのread_csvを高速化する方法(dask) - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
遅いpandasのread_csvを高速化する方法(dask) - Qiita
目的 pythonで重いcsvファイルを読み込む時に、pandasだと時間がかかる。 そこで早いと噂のdaskを試して... 目的 pythonで重いcsvファイルを読み込む時に、pandasだと時間がかかる。 そこで早いと噂のdaskを試してみる。 ここでは、daskの中身には詳しく触れず、使い方を説明する。 ちなみに、私が5GBのcsvファイルをdaskで読み込んだ時は、pandasを使用した時よりも10倍くらい早く読み込めた。 daskってなに? daskとはpandasのようなライブラリの一つ。 daskは、pandasのDataFrameの処理を応用しているから、基本的にpandasと同じ動作をする。 早くなる理由は、並列分散を使用しているから。 詳しくはこちらの方の記事をご覧ください(めちゃわかりやすい) 使い方 anacondaをダウンロードした人なら基本的に何もせずに使える。 pandasならば、