pandas DataFrameを省メモリにpickleする - ABEJA Tech Blog

テクノロジーカテゴリーの変更を依頼記事元:

tech-blog.abeja.asia

20 usersがブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

pandas DataFrameを省メモリにpickleする - ABEJA Tech Blog

ABEJAでデータエンジニアをしています、千葉です。少し前に、pandasのDataFrameをファイルに読み書きす... ABEJAでデータエンジニアをしています、千葉です。少し前に、pandasのDataFrameをファイルに読み書きする際にメモリを消費しすぎる問題を発見したので、解決策を含めて紹介します。通常手法の紹介通常、DataFrameをファイルに保存する際には、pandasの提供するIOモジュールを使用します。今回は、細かい変換規則を書く必要のないPython Pickleをベースとしたto_pickle機能について取り上げます。 # Dumping pandas.DataFrame import pandas df = pandas.DataFrame(..., columns=...) df.to_pickle(output_file_path) # Restoring pandas.DataFrame import pickle with open(input_file_path,

ブックマークしたユーザー

tsintermax2020/06/28
peisuke7262017/03/19
tiku12017/02/20
kmitsu2017/02/20
taiji_inoue2017/02/20
hohoho_ho20052017/02/20
shotaku2017/02/20
Hiro_Matsuno2017/02/20
bretongot2017/02/20
masayoshinym2017/02/20
higumachan2017/02/20
manabou2017/02/20
toshi62017/02/20
takana82017/02/20
toshitanian2017/02/20

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx