Kaggleで多くの実験を回すためにやっている簡単なこと
はじめに こんにちは。fkubota(Kaggle Expert 20201001現在)です。先日公開したKaggle日記の記事が好評だったので、調子に乗ってもう一つ。 今回は、僕が行っているとても簡単だけど効果が大きいKaggleの実験高速化の話です。おそらく当たり前すぎてこれまで記事にされなかったのかもしれませんが、これから積極的にKaggleに参加したいビギナーのために書きます。今回も、キラキラした画期的な特徴量エンジニアリングではなく、泥臭いテクニックを話します。 なぜ多くの実験を行いたいか 言うまでもないですが、多くの実験を行ったほうが勝つ確率は上がります。僕は今回の鳥コンペが初画像コンペでしたのでより多くの実験を行って勘所をつかむ必要がありました。案の定、Pytorchの癖をはじめはつかむことができず、コンペの1/3はPytorchのお勉強に使ってしまいました。 とにかく、ビギ
PythonコードのデバッグTips（１） — PythonMatrixJp
目的 エラー（例外）が発生した時、自動的にデバッガ「pdb」を起動して、 その時点のスタックフレームや上流階層に逆上って状況の確認がしたい！ でも止めたい箇所が分散していていちいちブレークポイント貼ったりステップ実行とかしてらんない！ みたいな状況で役に立つデバッグ手法です。 準備 以下をdebug.pyとして保存しましょう。: 1 import sys 2 3 def hook(type, value, tb): 4 if hasattr(sys, 'ps1') or not sys.stderr.isatty(): 5 sys.__excepthook__(type, value, tb) 6 else: 7 import traceback, pdb 8 traceback.print_exception(type, value, tb) 9 print() 10 pdb.pm()
pudbで機械学習開発を加速させる - The jonki
皆さん，pythonで機械学習のコードを書くときに，どのような環境で実装してますか？私は師匠もおらず，自分なりにいろいろ試していたところpudbに落ち着きました．pudbはデバッガーでpdbにUIが付いたようなものになります．pdbはC++でいうgdbみたいなもんですが，まぁガッツリ使うのは辛いです．pudbは下記の画像のようにターミナル上でグラフィカルにデバッグをできます． pudbを使うとどのようなことができるのか，この記事ではgifアニメーションをもとに紹介します． なぜpudbが便利か，AtomやVS Codeは使わないの？ 動作例の説明の前に，簡単にpudbに落ち着いた理由を説明しておきます． 私の環境だと，GPUが載ったマシンが手元になく（AWS，大学，会社），リモート（SSH経由）で開発する必要がありました．マシンが物理的に近くにあるときは，そのマシン上でVS Codeを動か
Python debugging tools - Debugging tools I like to generally use with python
Python debugging tools 05 June 2013 (updated 17 February 2016) This is an overview of the tools and practices I've used for debugging or profiling purposes. This is not necessarily complete, there are so many tools so I'm listing only what I think is best or relevant. If you know better tools or have other preferences, please comment below. Logging * Yes, really. Can't stress enough how important
How to run pytest with an python debugger with tab completion?
Background I have been debugging my python scripts for ~2 years with plain from IPython import embed; embed(), and it has been working really fine. I just place the command on the line I want to examine, and when running the script I will have full IPython shell with capability for examining variables, defining functions, etc. On top of that, IPython shell comes with variable name tab completion.
PythonとDjangoを使うときに押さえとくと良いもの - 偏った言語信者の垂れ流し
社内向け。 tokibitoの知識が偏ってるので、もっといろいろ知りたいなら社内チャットで他の人にも聞くこと。 Python easy_install setuptoolsかdistributeというパッケージで使えるコマンド。 @aodag 曰くsetuptools使わずに、distribute使えという話。 インストールはこんな感じ。 $ curl -O http://python-distribute.org/distribute_setup.py $ python distribute_setup.pyWelcome to Distribute’s documentation! — Distribute documentation pip パッケージのインストールに使う。後述のvirutualenvとかを使うならこれ。 インストールスクリプトで入れるか、easy_installなど
CUIベースなのに無駄にビジュアルなPython用デバッガ - pudb — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー pudbは，CUI環境(つまりシェル)で動くGUIライクなデバッガ。Pythonには標準でpdbというデバッガがついてくるけど，コマンドラインベースでちょっと使い方が面倒だよね。pudbはpdbよりノリがいい。まあスクリーンショットを見てもらうのが早いかな。 CUIベースでGUIっぽいことをするというのは，レトロなノリだよなあ。でもCUIベースならシェルが動く環境ならどこでも動く，という利点もある。ローカルのPythonでもssh越しのPythonでも，シェル上なら同じように動くというのは嬉しい。 インストールは簡単。いつものごとくeasy_installを使って「$ easy_ins
the Python debugger « Python Conquers The Universe
As a programmer, one of the first things that you need for serious program development is a debugger. Python has a debugger, which is available as a module called pdb (for “Python DeBugger”, naturally!). Unfortunately, most discussions of pdb are not very useful to a Python newbie — most are very terse and simply rehash the description of pdb in the Python library reference manual. The discussion
Python Debugging Techniques | Ayman Hourieh's Blog
This article covers several techniques for debugging Python programs. The applicability of these techniques ranges from simple scripts to complex applications. The topics that are covered include launching an interactive console from within your program, using the Python debugger, and implementing robust logging. Various tips are included along the way to help you debug and fix problems quickly an
いやなブログ - スクリプト言語用のデバッガの使い方 - Ruby, Python, Perl
スクリプト言語用のデバッガの使い方 - Ruby, Python, Perl スクリプト言語用の CUIのデバッガの使い方を簡単にまとめました。対象言語は Ruby, Python, Perl です。 私は C, C++ でプログラムを書いているときはデバッガ (主に GNU/Linux 上の gdb) を頻繁に利用します。しかし、スクリプト言語ではそれほどでもありません。これはおそらく次のような理由によります。 ビルドが不要なので printf デバッグが容易 (ある程度大きい C++ のプログラムではビルド時間が長いので printf の挿入はしんどい) 異常終了時にスタックトレースが表示される (Ruby, Python なら自動、Perl の場合は use Carp; $SIG{__DIE__} = \&Carp::confess; など) オブジェクトのインスペクトが簡単 (Ru
网站防火墙
您请求的页面包含一些不合理的内容，已被网站管理员设置拦截！ 可能原因：您请求的页面包含一些不合理的内容 如何解决： 1）检查请求的页面内容； 2）如网站托管，请联系空间提供商； 3）普通网站访客，请联系网站管理员；
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python の CUI デバッガ「PuDB」の紹介と使い方 - Qiita
https://www.codementor.io/stevek/advanced-python-debugging-with-pdb-g56gvmpfa
pdb like a pro
Beauty mode in python pdbpp
PythonデバッグTips - Qiita
Pythonでデバッグしたい - Qiita
JupyterまたはiPython Notebookでデバッグをする方法 - Qiita