Profiling Python in Production - Nylas
We recently reduced CPU usage across our fleet by 80%. One key technique that made this possible was a lightweight profiling strategy that we could run in production. This post is about the ways we approached instrumentation, the tradeoffs involved, and some tools you can use to optimize your own apps (including code!). Background Nylas is a developer platform that provides APIs to integrate with
デコレータで楽にcProfileする - Qiita
そこそこの規模のライブラリ書いてると、プロファイルするとき毎回コマンドラインからスクリプトを実行したりunittestのsetUpとtearDown書くのが面倒だったりするので、デコレータを作っておきます。 import cProfile import pstats def profile(func): def _f(*args, **kwargs): pr = cProfile.Profile() pr.enable() print("\n<<<---") res = func(*args, **kwargs) p = pstats.Stats(pr) p.strip_dirs().sort_stats('cumtime').print_stats(20) print("\n--->>>") return res return _f
WSGI Application Profiler — Werkzeug Documentation (0.16.x)
Warning werkzeug.contrib.profiler has moved to werkzeug.middleware.profiler. The old import is deprecated as of version 0.15 and will be removed in version 1.0. class werkzeug.contrib.profiler.MergeStream(*streams)¶ An object that redirects write calls to multiple streams. Use this to log to both sys.stdout and a file: f = open('profiler.log', 'w') stream = MergeStream(sys.stdout, f) profiler = Pr
26.4. The Python Profilers — Python 2.7.18 documentation
This document is for an old version of Python that is no longer supported. You should upgrade and read the Python documentation for the current stable release. 26.4.1. Introduction to the profilers¶ cProfile and profile provide deterministic profiling of Python programs. A profile is a set of statistics that describes how often and for how long various parts of the program executed. These statisti
Pythonコードのプロファイリング - shkh's blog
普段、Pythonのコードは何となく速かろうという、言ってみれば勘で書いているのだけど、その勘とやらは往々にしてウンコードを生むものである。そこで、プロファイラを使っていきたいと思う。 使えそうなツール そういうわけで、いくつか使えそうなツールをリストアップした。 経過時間のプロファイラ ツール名 メモ profile ビルトイン, ピュアPythonの決定論的プロファイラ cProfile ビルトイン, C拡張の決定論的プロファイラ line_profiler 行単位の決定論的プロファイラ Plop 統計的プロファイラ, Dropboxの人が作ってる statprof 統計的プロファイラ, 開発停止？ yep 拡張モジュール用の統計的プロファイラ, バックエンドにgoogle-perftools メモリのプロファイラ ツール名 メモ memory_profiler 行単位でメモリ消費量の
profile and pstats — Performance Analysis — PyMOTW 3
The profile module provides APIs for collecting and analyzing statistics about how Python source consumes processor resources. Note This output reports in this section have been reformatted to fit on the page. Lines ending with backslash (\) are continued on the next line. Running the Profiler¶ The most basic starting point in the profile module is run(). It takes a string statement as argument, a
シグナルを使って statistical profiler をつくろう - methaneのブログ
Pythonの標準ライブラリにはプロファイラがあるが、これは deterministic profiler という種類のプロファイラだ。関数が呼び出されたときと関数から抜けるときに登録したコールバック関数を呼び出す仕組みが用意されており、そのコールバック関数で時間を測ることで、各関数の実行時間を測ることができる。 このプロファイラは、短時間の実行で正確な時間を計測できるので、マイクロプロファイリングには適している。しかし、プロファイルを実行するとプログラムの実行速度がかなり低下してしまうという問題もある。 deterministic profiler と別の方式に、 statistical profiler というものがある。 これは、何らかの周期でプログラムのどこを実行しているのかをサンプリングするものだ。実行時間の長い関数ほど何度もサンプリングされるので、サンプル数が実行時間に比例する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Client Challenge
Dropbox Tech Blog