はてなブックマーク

はじめに クソデカ行列を目の前になんとなく pandas データフレームを使うと余裕でメモリアウトだったり，処理に何時間もかかってしまう．そこで，より軽く，より早くデータフレームを扱う際に個人的に気をつけている点を備忘録として置いておく． ※ 以下の記事は自分の経験とメモを文書に落としたものなので，詳しい比較(どのくらい早くなったか)は行なっていません． もくじ 型の最適化 read_csv で型を指定する for は使わない おまけ まとめ 型の最適化 kaggle なんかのテーブルコンペで見かけない日はないこの関数． 型のサイズを最適化してメモリアウトを防ぎ高速化をする． def reduce_mem_usage(df): start_mem = df.memory_usage().sum() / 1024**2 print('Memory usage of DataFrame is