Pythonでのデータ分析 : line_profiler についてのメモ - Qiita
line_profiler が便利です スピーチとスカートは短いほうがいい、という話を聞いたことがあります。 データ分析でも、実験をできるだけ多くしたいので、 前処理などの定型繰り返し作業はできるだけ短いほうがいいですね。 そんなときに役に立つのがプロファリングだと思います。 最近、プライベートで数10GB~サイズのデータを扱うことになりました。 その作業を通じて、並列処理、プロファイリングなどについて 小さな発見がありましたので、共有できたらなと思いました。 初回は、line_profilerでプロファイリングしたときの発見です。 line_profiler については、いろんな方が書いているので、調べて頂ければと思います。 とても素晴らしいプロジェクトです。 データの集計処理をプロファイリングする データについて 実際にあつかったデータはお見せできませんので。。。 そのデータに構造が近
GitHub - rkern/line_profiler: (OLD REPO) Line-by-line profiling for Python - Current repo ->
Note: As of version 2.1.2, pip install line_profiler does not work. Please install as follows until it is fixed in the next release: git clone https://github.com/rkern/line_profiler.git find line_profiler -name '*.pyx' -exec cython {} \; cd line_profiler pip install . --user Releases of line_profiler can be installed using pip: $ pip install line_profiler Source releases and any binaries can be do
timeit — Measure execution time of small code snippets
timeit — Measure execution time of small code snippets¶ Source code: Lib/timeit.py This module provides a simple way to time small bits of Python code. It has both a Command-Line Interface as well as a callable one. It avoids a number of common traps for measuring execution times. See also Tim Peters’ introduction to the “Algorithms” chapter in the second edition of Python Cookbook, published by O
Index
Hello! I'm a data scientist at Zymergen. Zymergen creates novel materials using microorganisms. We do this using a combination of rational genetic edits and high-throughput testing to determine which edits worked and which didn't. As a data scientist, I build models to separate signal from noise and find the successful needle in the haystack of all our attempted edits. Astronomy Before becoming a
Benchmarks | TensorFlow
Deploy ML on mobile, microcontrollers and other edge devices
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Codon VS Nim benchmarks, Which programming language or compiler is faster
What is %timeit in Python?
