pandas DataFrameを省メモリにpickleする - ABEJA Tech Blog
ABEJAでデータエンジニアをしています、千葉です。 少し前に、pandasのDataFrameをファイルに読み書きする際にメモリを消費しすぎる問題を発見したので、解決策を含めて紹介します。 通常手法の紹介 通常、DataFrameをファイルに保存する際には、pandasの提供するIOモジュールを使用します。 今回は、細かい変換規則を書く必要のないPython Pickleをベースとしたto_pickle機能について取り上げます。 # Dumping pandas.DataFrame import pandas df = pandas.DataFrame(..., columns=...) df.to_pickle(output_file_path) # Restoring pandas.DataFrame import pickle with open(input_file_path,
pickleを利用した任意のコード実行とPython Web Framework - mrtc0.log
Djangoのサイトを見ていると以下のような記述があった. Settings | Django documentation | Django Running Django with a known SECRET_KEY defeats many of Django’s security protections, and can lead to privilege escalation and remote code execution vulnerabilities. SECRET_KEYが第三者に漏れると任意のコード実行につながるとの記述がある. が, なぜSECRET_KEYが知られると任意のコード実行が可能になるのかわからなかったので調べてみた. 結論としてセッション管理にpickleを使っているため, 第三者にSECRET_KEYが知られると悪意あるCookieを作れるかららしい.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
