Kaggleコード遺産 - Qiita
この記事はどんな記事なのだ？ こんにちはなのだ、kaggle masterのアライさんなのだ。 この記事はkaggle advent calendar 2019 その1の13日目の記事なのだ。 前日はu++さんのKaggle Days Tokyoの記事なのだ。アライさんも参加したかったのだ。 明日はtakapy0210さんの学習・推論パイプラインについてなのだ。楽しみなのだ。 Kagglerの間では連綿と受け継がれる便利関数がいくつかあるのだ。アライさんはそれをKaggleコード遺産と呼ぶことにしたのだ。この記事ではKaggleコード遺産の紹介とその出処の検証1を行おうと思うのだ。面白かったら是非upvoteしてくださいなのだ。 さあKaggleパークの冒険に出発なのだ！ おことわり 今回の記事はPythonコードに限った話になってしまったのだ。KaggleのNotebookではRも使える
Python コードの高速化のアプローチ - Qiita
はじめに こんにちは。こんばんはかもしれません。爲岡 (ためおか) と申します。 2020年4月から株式会社グロービスにて機械学習エンジニアとして働いています。 グロービスでは機械学習技術を利用したプロジェクトや、データ基盤の運用改善プロジェクトを担当しています。 機械学習技術を利用したシステムには様々なものがあると思いますが、 現状のグロービスにおいては、ユーザのリクエストに対して機械学習を行い、 すぐに結果を返す必要があるようなシステムは扱っておらず、 ある程度の時間をかけて学習、推定した結果を非同期にアプリケーションに連携するシステムのみを扱っています。 ゆえに、今のところは機械学習技術を利用したロジックを書くときに、速さを意識することはあまりありません。 一方で、空いている時間に競技プログラミングをやっていることもあり、 高速なコードについて考えたり、書いたりすることは個人的には好
Optimize Python
How to profile and optimize Python apps Posted on July 14, 2018 Introduction This blog post used to be a document, which was designed to be a concise and easily referenceable guide for software engineers on how to benchmark Python code and how to optimize it. As a result, it should help Python developers write more efficient Python code in the future. Profilers A profiler is a piece of software th
pythonの速度で気にするところ(高速化メモ) - nobUnagaの日記
高速化に関して 高速化はほんとに色々と罠が多い。意図した計測できていなかったり。(特に、python3はmapとかの返り値がジェネレータになっているので、その計測を間違っている例とかがウェブには多い。) 高速化の前に計測が必須だが，計測に関しては別のまとめを参照。 リストは連結リストではなく配列 Pythonのリストはいわゆる連結リストではなく可変長配列(たぶん)。arrayというのがあるけどそっちは固定長配列。 よって、リストの先頭要素の挿入/削除(insert/pop)とかはしない。 また，順次appendしていくと容量オーバーのときに領域の拡張が発生し，コピーが発生し得る。それを避けるためには，サイズがわかっているなら，[None]*n_sizeなどで予め領域を確保しておく。任意のオブジェクトを格納出来ることから，おそらくリストの要素はそのオブジェクトへのポインタだと思うのでNone
Pythonを高速にするTips集
この記事は，Pythonを少しでも高速に実行するための方法をまとめたTips集です． 随時更新予定です． グローバル名前空間で大きな処理を書かない Pythonではメソッド内に処理を書かずにグローバル名前空間に処理を書くこともできます。 Pythonは変数アクセスを名前空間ごとの辞書（ハッシュマップみたいなもの）で検索することで実現しています。 グローバル名前空間の辞書にはデフォルトの状態でいくつかの要素が追加されているので、メソッド内でローカル変数にアクセスする場合に比べて変数アクセスのコストが重くなります。 なので、グローバル名前空間でforループなどを回すと変数アクセスのコストが無視できなくなるので、forループを回すなどの大きな処理を行う場合はメソッド内に処理を書くようにしましょう。 グローバル名前空間にforループの処理をべた書きした場合と、メソッド内に同じ処理を書いた場合での実
Pandasの辞書的使い方 - 西尾泰和の外部脳
PandasでNameとValueというカラムのあるCSVを読み込んで、「Nameが特定の値の時のValueを知りたい」という場合。なおNameは一意だとする。
ishideoのブックマーク / 2008年12月18日 - はてなブックマーク
Pythonの拡張を作る方法は世に数多くあるが，休み時間にふと思い立ってWindowsでCython(http://www.cython.org/)を使おうと思った時のメモ． CythonはPyrex(http://www.cosc.canterbury.ac.nz/greg.ewing/python/Pyrex/)の後継と思しき言語（？）で，Sage(http://wiki.sagemath.org/)というPythonを使った数学ソフトウェアの開発のために作られたらしい． Pyrexとの違いはhttp://wiki.cython.org/DifferencesFromPyrex を参照のこと． Pyrexからの乗り換え組みがそこそこいるらしい．今から使うならCythonを選択すべきなのかもしれない． 実際には機能強化点以外はほとんどPyrexであり，実際公式wikiのチュートリアルとし
CythonをWindows XP + MinGWで使うメモ - 碌々log
Pythonの拡張を作る方法は世に数多くあるが，休み時間にふと思い立ってWindowsでCython(http://www.cython.org/)を使おうと思った時のメモ． CythonはPyrex(http://www.cosc.canterbury.ac.nz/greg.ewing/python/Pyrex/)の後継と思しき言語（？）で，Sage(http://wiki.sagemath.org/)というPythonを使った数学ソフトウェアの開発のために作られたらしい． Pyrexとの違いはhttp://wiki.cython.org/DifferencesFromPyrex を参照のこと． Pyrexからの乗り換え組みがそこそこいるらしい．今から使うならCythonを選択すべきなのかもしれない． 実際には機能強化点以外はほとんどPyrexであり，実際公式wikiのチュートリアルとし
Python Performance Tips (Python パフオーマンスTIPS)
Python Performance Tips このページはPythonプログラムの実行効率を改善するさまざまなTipsやトリックの紹介に特化しています。誰から得た情報であっても、その情報源を紹介するつもりです。 "fast python"ページをはじめて書いた1996年以降も、Pythonは著しく変化してきました。このことは、幾つかの規則も変化しているということを意味しています。そこで、他の誰かがこのページのメンテナンスを手伝ってくれるという期待をもって、ページをPython wikiに移動させました。 注意：これらのTipsはいつでも、読者のアプリケーションや、実際に使用するバージョンのPythonで盲目的に受け入れるだけでなく、実際に試してみることができます。 これらの新しく独自に書かれたパッケージ、例えば Pyrex 、 Psyco 、 Weave や PyInline のようなも
Psyco で高速化にチャレンジしてみる？ (2006/06/10)
Psyco で高速化にチャレンジしてみる？ (2006/06/10) python Psyco で高速化にチャレンジしてみる？ Python 2.5、正式版リリースに一歩近づく の記事を目にする。「Need for Speed」というプログラミングコンテストも開かれていたのか。「目的は単にPython言語を速くすること」と。こういうアプローチは好きだったりする。言語そのものの速度が速くなるメリットは大きい。Psycoみたいなものも好きだし。そういえば以前に ほんとにPython の起動は遅いのか？(2006/02/10) なんてことを書いたことがある。Python 2.5 は起動がもっと速くなっているんだろうか。 Psyco を久々に使ってみる psyco は、JIT(just-in-time) コンパイラの一種で、一行一行を python のインタプリタで実行するのではなく、ブロックご
PythonSpeed/PerformanceTips - Python Wiki
This page is devoted to various tips and tricks that help improve the performance of your Python programs. Wherever the information comes from someone else, I've tried to identify the source. Python has changed in some significant ways since I first wrote my "fast python" page in about 1996, which means that some of the orderings will have changed. I migrated it to the Python wiki in hopes others
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonビギナーがパフォーマンス改善のためにやった6つの約束事
IBM Developer