Python 内包表記の限界: 複雑な処理と実行速度の関係 - Qiita
初めに 本記事は実務上で速度的優位性を得るために内包表記を使うことが合理的かどうか検証したものです。 文中のコードは読者層を広くするために型ヒントを省いています。 更新履歴 詳細 追記 (2023/05/24) 計測環境はPython3.12.0a6です。 修正 (2023/05/24) 記事中のバイトコードがPython3.7.16のものだったのでPython3.12.0a6のものに差し替えました。 修正 (2023/05/27) 「list(generator) 使えよ」とのご指摘があったので 単純な例の内包表記を[i for i in range(ELEMENTS)]からlist(range(ELEMENTS))に修正しました。 ご指摘ありがとうございます。 追記 (2023/05/28) Twitterでの反応に対しての追記を行いました。
Pythonで点群処理ワンライナー
はじめに 2022年も終わりますね。 今年は点群処理が網羅的に解説された本が出たり、テキストから点群生成できるAIが出てきたり、いろいろ点群界隈も盛り上がっていたかと思います。 そんな正統派点群技術が盛り上がった年の最後に、闇の点群技術を紹介できればと思います。 Pythonワンライナーの世界 Pythonワンライナーとは、普通に書くと数行に渡りそうな処理をワンライナー(一行)で書くことで、ただただ自己満足・自己顕示欲のためだけに難解なコードを作成するアレなテクニックです。 この記事では一般的なPythonワンライナーコードではなく、点群処理に特化したアルゴリズムのワンライナーを紹介していきたいと思います。 前提条件 まず、本記事のテクニックではnumpyおよびscipyのみライブラリとして使用することを許可しています。 Open3Dまで使ってしまうと闇どころか完全なチートになってしまうの
Doxygen vs. Sphinx+Breathe
ソースコードに埋め込まれたコメントから文書を生成するツールとして，DoxygenとSphinx+Breatheについて検討し，Doxygen単独での利用が妥当と結論づけた。そのことについてメモしておく。 一連の考察は以下でまとめたツイートがベースとなっている。 Doxygen vs. Sphinx+Breathe – Togetterまとめ Introductionソフトウェアを開発していると，そのソフトのクラスの構成や使い方，概念などが複雑になってくることがある。また，会社など複数人で開発を行っていると，新しく参加する人のためであったり，数年後に忘れた時のために，APIの説明文書（API文書）があるととても役に立つ。 しかし，こうしたAPI文書を作成する労力は無視できない。また以下の点も文書整備の妨げとなるだろう。 ソフトウェアの更新。 文書整備の優先度の低さ。 こうした問題があるため，
Python 3.11の新機能(その3）関数呼び出しのインライン化 - python.jp
Python 3.11では、パフォーマンスチューニングの一環として、Python関数呼び出しのインライン化 が行われました。既存のPythonインタープリタのしくみを大きく変更する変更ですので、簡単に解説しておきます。 先に書いておきますが、今回行われた「関数呼び出しのインライン化」は、C/C++などの inline のように、ユーザ定義関数を呼び出し元で展開してオーバヘッドを削減するものではありません。また、Schemeなどにある末尾再帰の最適化でもありません。 cevalループ¶Pythonインタープリタは、Python 3.11の新機能(その2） 特殊化適応的インタープリタ で解説したように、Pythonのソースコードをバイトコードへ変換し、順次実行します。このバイトコードを実行する関数はPythonインタープリタの心臓部であり、CPythonソースツリーのファイル Python/c
Static Analysis at Scale: An Instagram Story
Instagram Server is entirely Python powered. Well, mostly. There’s also some Cython, and our dependencies include a fair amount of C++ code exposed to Python as C extensions. Our server app is a monolith, one big codebase of several million lines and a few thousand Django endpoints [1], all loaded up and served together. A few services have been split out of the monolith, but we don’t have any pla
Google Colaboratoryが便利・高速で凄過ぎる - Itsukaraの日記
Googleが研究の一環で提供しているColaboratoryを試してみました。 Jupyterと同じようなGUIでPythonのプログラムを実行可能で、GPUも使えます。 Jupyterと同様に、先頭に「!」を書くことで、Linuxのコマンドを実行可能であり、「!pip」「!conda」「!apt-get」などで機能を追加できます。 実行結果をファイルシステム上に保管でき、共有リンクを使って取り出せます。 ただし、12時間経過すると強制終了されて、ファイルは失われます。 しかし、Notebookが動いている仮想マシンにGoogleドライブをマウント可能であり、これにより、実行結果をGoogleドライブ上のファイルとして保管できます。 Deep Learningでは、途中の状態をファイルに保管して、そこからResumeできるようにプログラムを書くことが多いので、12時間で一度強制終了しても
pybind11を使ってPythonからC++コードを実行する方法 - MyEnigma
新・明解C言語 入門編 (明解シリーズ)posted with カエレバ柴田 望洋 SBクリエイティブ 2014-08-09 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに pybind11とは? シンプルなサンプルコードの実行方法 1. pybind11をDL 2. c++のコードを書く 3. pybind11のバインドc++コードを書く。 4. C++コードをコンパイルする。 Macの場合 ubuntuの場合 5. pythonコードで読み込ませる デフォルト引数 C++コードの変数をpython側で利用する C++クラスのバインディング 継承 関数のオーバーロード Enum STLのコンテナのやり取り pybind11がサポートしているコンパイラ サンプルコード より詳しいPythonとCコードの連携方法を学びたい人は 参考資料 MyEnigma
（翻訳）2017年の展望: pandas, Arrow, Feather, Parquet, Spark, Ibis - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 （原文：http://wesmckinney.com/blog/outlook-for-2017/ ） 2016/12/27 Python dataの開発に関して、2017はエキサイティングな年になりそうです。このポストでは、私から提供できそうなものについて書いていきます。それぞれのピースを全体としてどうまとめていくつもりなのか、詳しくは今後のポストで書いていきます。2016年は開発とPython for Data Analysisの第2版の作業で完全に手一杯でblogはあまり書けませんでした。2017
Yhat End-to-End Data Science Platform: Rodeo
Spent the day with @YhatHQ's #RodeoIDE. It's great! Thanks to @TiffanyTimbers for recommending it. Try it for #Python programming! — Jeffrey LeDue (@JeffLeDue) November 27, 2016 #RodeoIDE https://t.co/LbLEyrEme2 is a #data centric #IDE for #python run scripts, evaluate data, auto-complete all within the IDE! — Nathan Ash (@Ompster) April 24, 2015 If you are pythonista Data Scientist but always env
Python 3を使うべきでない場合（なんてない） | POSTD
数日前、著名なライターで開発者でもあるZed Shawが “The Case Against Python 3”（Python3を使うべきでない場合） というブログ記事を書きました。私はZedの功績にとても敬意を払っているし、彼の（ Learn Python the Hard Way ）という本の手法は、 私の本 に非常に似ているので、私はいつも、 私の講座 を受講しようとしている人には予習するときに彼の本を読むように伝え、講座を修了した後に練習を積みたい人には復習するときに読むように伝えています。 ですから、今回のPython 3に関するZedの記事が私には賛同できないものだったことは、とても残念でした。 説明しましょう。私の仕事の90％は、さまざまな大企業でのPython講師としての仕事です。幅広い背景に対応して、クラスは「プログラム未経験者のためのPython」や「Python入門」
問題を解決するつもりでキッチリ型を付けた先にある高い壁 - ぼくのぬまち 出張版
null安全おじさんになりかわりそれがしがお見せつかまつる 機械が理解できる複雑な契約の型表現がもたらすものは つまるところこのようなもの ずぶぶ(切った腹から証明オブジェクトを引き摺り出す)— Noriyuki OHKAWA (@notogawa) 2016年11月18日 過ぎたるは猶及ばざるがごとし． 最近null安全？だかの話のからみで，(静的な)型で契約云々を表現してシアワセになれるんだぜーと言うのをチラホラ見聞きする．たとえば，pythonで統計なり機械学習なりやっててnumpy弄るような人が，ndarray(多次元配列)のshape(多次元配列の形)が合わずエラーで落ちたりとかそういうアレについて云々という．なるほど型があれば実行前に止めることができ，実行時，エラー*1になってファーみたいなことは避けられるだろう． しかし，これが天国へ続く道かどうかはまた別の話．(依存)型で舗
pythonの内包表記を少し詳しく - Qiita
pythonの内包表記について nbviewerにも投稿済。 pythonといえば内包表記です。 <= 偏見? でも、慣れないと読みにくいので、少し詳しく読み方をまとめてみました。 通常のリスト生成 extension_1 = [] for i in range(10): extension_1.append(i) extension_1 #>>> [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] リスト内包表記 基本構文 [counter for counter in iterator] 僕は先に [i for i in] だけ書いてから修飾することが多いです。 extension_1と同等のリストを内包表記で生成する場合は
scikit-learn準拠で Label propagation とか実装した - でかいチーズをベーグルする
scikit-learn準拠で Label propagation 的なアルゴリズム達を実装した。なんで実装したかというと、 グラフそのもの（隣接行列）を入力したい。 scikit-learnには既にsklearn.semi_supervised.LabelPropagationが実装されてるけど、これはグラフを入力するんじゃなくて、普通にサンプル数×特徴数のデータ行列を与えて、そこから類似度グラフを作るようになってる。これだと例えば手元にソーシャルグラフがあって、そのユーザ（ノード）の属性（興味とか）を Label propagation で推定するということができない。 ハイパーパラメータを楽に決めたい。 自分でグリッドサーチとかやるのはめんどくさいので、sklearn.grid_search.GridSearchCVとかを使いたい。そのためにsklearn準拠にした。 自分の研究成果
Scipy Lecture Notes — Scipy lecture notes
One document to learn numerics, science, and data with Python¶ Tutorials on the scientific Python ecosystem: a quick introduction to central tools and techniques. The different chapters each correspond to a 1 to 2 hours course with increasing level of expertise, from beginner to expert. Release: 2022.1
Boost.PythonおよびBoost.NumpyをWindowsで使うまで
こんにちはtatsyです。 C++とPythonを糊付けするものとしてBoost.PythonとBoost.Numpyというものがあるのですが、多くの記事はPythonからC++のコードを呼び出すことを主眼としていて、僕のようにC++からNumpyの線形ソルバーを呼びたいとか言う人は少ないみたいです。 Boost.PythonやBoost.Numpyを使う利点、特にWindows上で使う利点はPythonをビルドしているVisual Studioのバージョンに依存しないということだと思います。 通常PythonのC APIは使っているPythonをビルドしたものと同じVisual Studioのバージョン(3.4ならVC2010, 3.5ならVC2015)を使ってビルドしないといけないので、いちいち複数のバージョンのVisual Studioを入れないといけなかったりします。 参考ページ:
API Reference — scikit-learn 0.19.2 documentation
API Reference# This is the class and function reference of scikit-learn. Please refer to the full user guide for further details, as the raw specifications of classes and functions may not be enough to give full guidelines on their uses. For reference on concepts repeated across the API, see Glossary of Common Terms and API Elements.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CZI – Essential Open Source Software for Science
https://qiita.com/nya/items/4acd08fd1d505742eaeb
Pythonのモジュールインポートのしくみ — PythonMatrixJp
Coconut — Coconut documentation