前回、pickleというオブジェクトを保存する方法を紹介しました。ひょっとして、このpickleを使うとpandasモジュールを使ったデータ処理結果を保存しておいたり、再度読み出すことが速くなるのではないかと思い、リードライトする速度を測ることにしました。 まずは150万行程度のcsvファイルを以下コードで生成します。 def file_write_test(): xy=[] x=np.linspace(-np.pi,np.pi,1500000) for r in x: y=np.sin(r) xy.append([r,y]) wfilename='csv_write.dat' csv_write(wfilename,xy,dialect='comma') return xy
![『Python §40 : pandasのデータ読み書きはpickleを使うと激速だった!』](https://cdn-ak-scissors.b.st-hatena.com/image/square/472af0bf60257c719d8f67c567adca21f95538a8/height=288;version=1;width=512/https%3A%2F%2Fstat.profile.ameba.jp%2Fprofile_images%2F20150209%2F20%2F24%2FAk%2Fj%2Fo020002001423480900086.jpg)