エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
DataFrameのメモリサイズを節約する - For Your ISHIO Blog
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
DataFrameのメモリサイズを節約する - For Your ISHIO Blog
新年あけましておめでとうございます。2019年最初のブログになります。本投稿では、DataFrameを扱う際の... 新年あけましておめでとうございます。2019年最初のブログになります。本投稿では、DataFrameを扱う際のメモリサイズの節約について書きたいと思います。 私はGCP上のVMをPythonの開発環境としており、Kaggleのデータセット等を利用して学習しています。Pandasを利用してDataFrameを扱うわけですが、以下のようなことに遭遇します。 残念ながらお金がないので、メモリを大量に積んだVM環境を常備できない Daskよりも、Pandasの方がやっぱり使い慣れている kaggleのデータセットがでかすぎてメモリーエラーになる 少しでもメモリを節約するための方法をツラツラメモしています。結論としては以下です。 データ読み込み時に型を指定しないと、一番大きなメモリサイズが確保されるので気を付ける 新しいカラム作ると、一番大きなメモリサイズの型が確保されるので気を付ける いらなくなっ