GitHub - gr3yc4t/dns-poisoning-tool: A tool to perform DNS cache poisoning against vulnerable server
[Python] Joblibのキャッシュを使って同じ計算を省略する
本エントリではPythonのJoblibがもつキャッシュ機能によって同じ計算を省略し、処理を高速化するための方法を説明する。このエントリを読むことで、関数をキャッシュ可能にする方法、numpyのarrayをメモリーマップを使って読み込む方法、参照を使ってデータにアクセスする方法がわかる。 目次: Joblibとは 1. 計算結果のキャッシュが可能 2. 並列化が容易 3. 高速、高圧縮な永続化 環境 Joblibのインストール Memoryを使って計算結果をキャッシュする キャッシュの簡単な例 NumPyのデータを扱う関数をキャッシュ可能にする メモリーマップを使った高速なキャッシュの参照 キャッシュされた結果の参照を取得する。 Joblibを使ってテキストを単語のIDに変換する処理を高速化する まとめ Joblibとは JoblibはPythonにおけるパイプライン処理の効率化をするため
Python functoolsのlru_cache - Sabrou-mal サブロウ丸
lru_cache lru_cacheは関数の引数と返り値を保存する。 from functools import lru_cache @lru_cache(maxsize=None) def fib(n): if n < 2: return n return fib(n-1) + fib(n-2) 公式の例。再帰的にフィボナッチ数を計算していますが、そのまま実行すると呆れるほど遅いです。 実際、この関数にnを渡すと約 回ほどこの関数が呼び出されることなりますが、関数の引数としてそのほとんどが、過去渡されたことのある引数が繰り返し渡されることになります。 @lru_cacheを関数の前につければ、引数nに対する返り値を保存します。つまり同じ引数が2回以上渡されるときは、2回目以降は実際に関数の中身を計算することはありません。 上記の例だと、これにより関数が呼び出される回数が約 回に減少する
ウェブのAPIとかデータベースに接続するようなプログラムを開発するときにjoblib便利すぎる
データサイエンティスト的な仕事をしたりスクレイパー的な開発をするとキャッシュしたくなることがある。 例えばどういう時かというと pandas使っていてデータベースに重い重い処理を投げて帰ってきたものをd3.jsとかseabornみたいな描画処理のところで試行錯誤したい requests+pyqueryとかでスクレイピング用のコード書きたいけど、相手のサイトに何度もアクセスするのは気が引ける で、大抵そういう時ってファイルキャッシュしておくと思うんだけど、そのコードを追加するのが結構な心理的な負担になることが多いです。 本運用時に消すの忘れてアチャーってなったりするしね。 結局キャッシュ追加削除にコードの変更っていうのは面倒くさいというかよくないので、joblibを使うとハッピー /tmpにでもキャッシュディレクトリ設定しておいてキャッシュしたい関数にデコレーターかます。これだけ impor
キャッシュと効率 - 素人がプログラミングを勉強していたブログ
Life is beautiful: Python Hack : 噛めば噛むほどおいしくなるクロージャの話を見て、いろいろと気になるところがあったので書いてみる。 import yaml def _get_from_disk(): data = open('config.yaml').read().decode('utf8') config = yaml.load(data) ＃ クロージャ内に隠蔽・保持されるローカル変数 global get get = lambda : config # 二回目からはconfigを返す無名関数を呼ぶ様に変更 return get() get = _get_from_disk # 初回のみローダーを実行 http://satoshi.blogs.com/life/2009/11/python-hack.html 間違えました…。この部分はきちんと動いてま
Young risk taker.: Pythonでデコ•メソッドキャッシュ (memcached)
おっPythonハカーを多数抱える、煩悩駆動開発で有名なglucose.jpのお手伝いをする機会があり、４年ぶりにPythonを書いた。2.3以来だったので、2.5を眺めているとデコレーターと呼ばれる機能が導入されていた。 デコレーターとクロージャーを組み合わせれば、メソッドの挙動を自由にカスタマイズすることができる。この機能を使用して、関数の結果をmemcachedでキャッシュする機能を付与するデコレーターを作ってみた。 あらかじめ、CACHE変数をmemcachedクライアントで初期化しておく必要がある。 挙動 ソースは、少々ややこしいけど、実行の仕組みは単純。 Step 1: @cached構文実行時に、ack関数に対して、cached関数が実行され、ack関数がdecorated_funcを呼び出した結果でack関数が置換される。(返り値は、callableなオブジェクトでないとい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
