![kenkenさんはTwitterを使っています: 「完全初心者の状態で、Pythonの独学を始めて約2年🤔 約60冊の書籍を写経・消化してきたので、結構、実力がついたのかな🤔 2年間の棚卸として、僕が、写経・独学してきた書籍とKaggleの取り組みを紹介したいと思います☺️ 全て真剣に取り組んできたので、気になる書籍があれば、気軽に質問ください☺️ https://t.co/QL57lAy2pH」 / Twitter](https://cdn-ak-scissors.b.st-hatena.com/image/square/2388bd3953879dcbd506707c791995555d41b41e/height=288;version=1;width=512/https%3A%2F%2Fpbs.twimg.com%2Fprofile_images%2F1597914645125541888%2F6jhwDD2K.jpg)
皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み&集約 5. 不要なものを読み込まない 6. 不要なカラム/DataFrameを消す 番外編:そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON(JSONL
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く