Pythonで書かれたOSSのコードを最適化してPull Requestがマージされるまで - Sansan株式会社 | 公式メディア「mimi」
はじめまして。2018年1月に入社した奥田（@yag_ays）です。 先日、scikit-learn-contribの1つであるCategory Encodersの最適化を実装したPull Requestがマージされたので、そこに至るまでのプロファイルや最適化の過程を紹介したいと思います。 普段、私の仕事は機械学習やデータ分析がメインで、あまりPythonの処理レベルで早いコードを書いたりすることはありません。もちろん最適化なんてことについては、あまり経験を持っていない素人なのですが、この記事が皆さんのプロジェクトを最適化する際の参考になれば幸いです。 tl;dr scikit-learn-contribの中のcategory_encodersの実行速度を最適化した Pythonのプロファイリングにはline_profiler、デバッグにはpdbが便利 Pandasのカラムをfor文で書き
[Python]超便利なデバッグ - Qiita
のように"-m pdb"をつけるとデバッグモードで実行してくれます。 （最近知りましたがこれだけでもめちゃ便利） 任意の場所で処理を止めたい時は・・・ Eclipseのようにブレークポイントを置きたい時は、 hoge.pyに
![[Python]超便利なデバッグ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/95e78517433ae1fd644f381c77e4ba060b0016e3/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJUU4JUI2JTg1JUU0JUJFJUJGJUU1JTg4JUE5JUUzJTgxJUFBJUUzJTgzJTg3JUUzJTgzJTkwJUUzJTgzJTgzJUUzJTgyJUIwJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz00NDFiODc5YzlmMDNhYzIxYTQ4ZTVkZTE4MjRhYzViMA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzaGlub2NoaW4mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTgxNzBiNWY0MTQ3MWFkOTc5MzdhNDY5ZmY2OTc0ZTg1%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D29a595169e796ac2bf75ce3f6e2827e2)
LLVMがWindowsのデバッグ情報フォーマットのPDBをサポート
LLVM Project Blog: LLVM on Windows now supports PDB Debug Info この数年、clangをWindowsでソフトウェア開発するための世界級のツールチェインにするために尽力してきた。このことについては、すでに何度も書いてきたことだ。LLVMは完全なABI互換を実現した（ただしバグ互換ではない）。互換性を実現するのが難しい分野にデバッグ情報があるが、この2年間で、LLVMは飛躍的な発展をとげた。とりあえず結論を先に書くとこうだ。WindowsでClangを使うと、PDBデバッグ情報が出せる。 背景：CodeView VS PDB CodeViewは1980年台の中頃にMicrosoftによって考案されたデバッグ情報フォーマットだ。様々な理由で、他のデバッガーはDWARFという独立したフォーマットを開発し、これは標準化されて、多くのコンパ
Debug構成とRelease構成の違い - tekkの日記 C#,VB.NET
ビルド構成の Debug と Release の違いについて調べてみました。 開発中だから Debug 構成、リリースする時は Release 構成という 固定観念 ではなくて、開発中とリリース時での動作に一切の違いがあってはいけないから安全に動作することを最優先にリリースする際も Debug構成で行く！という選択肢もあっても良いと思います。パフォーマンスが気になるアプリでは説得が難しいと思いますが、そもそも Debug 構成で性能要件が満たせないようなら設計レベルから見直すべきだとは思います。Release 構成による最適化のパフォーマンス向上は、最後の切り札くらいに考えても良いのではないでしょうか。 というわけで、以下が Debug 構成と Release 構成の違いです。 Debug 条件付きコンパイルの定数：DEBUG,TRACE コードの最適化：ON デバッグ情報：FULL Re
【Python】いつまでprintデバッグで消耗してるの？ - らっちゃいブログ
Python を初めて間もない頃、自分も print デバッグしてました。効率の悪さを認識しつつも、IDEを導入してデバッグする方法を調べてセッティングして、という手順が面倒でずっと放置してました。 // 普段は vim で開発してます そうこうしてたら print デバッグではどうにもならないバグにぶち当たり、仕方なくデバッグポイントを置く方法を調べたわけです。するとどうでしょう。 ソースコード中に以下の一文を入れるだけではないですか。 import pdb; pdb.set_trace() たったこれだけで、上の一文を挿入した行で処理が停止し、コンソール上でステップ実行が出来るようになります。最高かよ。 個人的にですが、デバッガー起動中によく使うコマンドとしては以下です。 コマンド 説明 s(tep) ステップイン n(ext) ステップオーバー r(eturn) ステップアウト l(
任意の行でデバッグを開始する
Python 2.7.3で、コード中の任意の位置でデバッガpdbを起動する方法。 このコードをブレークしたい行の手前に挿入しておく。 import pdb; pdb.set_trace() 挿入したスクリプトをシェルで実行すると、デバッガが起動する。よく使うコマンドは次の5つ。 s(tep) # ステップイン n(ext) # ステップオーバー r(eturn) # ステップアウト b(reak) n # 実行中のファイルのn行目にブレークポイントを設定 c(ontinue) # 次のブレークポイントまで実行 l(ist) # 実行中のコードを表示 h(elp) # ヘルプを表示 q(uit) # デバッガを終了 デバッガコマンド以外はPythonの文として実行されるので、変数の値を確認したりできる。 print varname References26.2. pdb — Python デ
Python で標準添付の Debuggerのpdb を利用してデバッグするメモ
概要 pdb を利用してみる。 ドキュメント 公式ドキュメント「pdb — The Python Debugger」に概要が書いてある。 使い方 スクリプトを直接起動してデバッグする方法と、インタラクティブshell で起動する方法があるが、ここでは、スクリプトを起動してデバッグする方法で書く。 以下がデバッグするスクリプトのサンプル「even.py」。 自分の場合、スクリプトを直接デバッグすることがあまりなく、デバッグするのはライブラリとかをunittest経由でデバッグすることがが多いのでサンプルは unittest で書いている。 以下の例はクラス内の関数が偶数だけ返す所でバグがあり、奇数を返すようになっている。そんなに良い例ではないかも。 #!/usr/bin/env python # -*- coding: utf-8 -*- import unittest class Samp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLVMがPDBフォーマットのドキュメント化とYAMLへの変換を実現
GitHub - DonJayamanne/pythonVSCode: This extension is now maintained in the Microsoft fork.