Python: pandas の永続化フォーマットについて調べた - CUBE SUGAR CONTAINER

以前、このブログでは pandas の DataFrame を Pickle として保存することで読み込み速度を上げる、というテクニックを紹介した。 blog.amedama.jp 実は pandas がサポートしている永続化方式は Pickle 以外にもある。 今回は、その中でも代表的な以下の永続化フォーマットについて特性を調べると共に簡単なベンチマークを取ってみることにした。 Pickle Feather Parquet 使った環境とパッケージのバージョンは次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | egrep "(pandas|feather-format|

[uva]

ポータビリティを考えなければpickleでおkなのか

[hogeai]

永続化周りで調べたかったことが、網羅的に書かれてて助かる。残件は、書き込み時のメモリ消費。昔、pickleがメモリを二倍以上消費した記憶がある。