Faster Python calculations with Numba: 2 lines of code, 13× speed-up
Faster Python calculations with Numba: 2 lines of code, 13× speed-up by Itamar Turner-Trauring Last updated 06 Jan 2023, originally created 11 Feb 2022 Python is a slow language, so computation is best delegated to code written in something faster. You can do this with existing libraries like NumPy and SciPy, but what happens when you need to implement a new algorithm, and you don’t want to write
NumPy221本ノックの本書いた - Qiita
1～2ヶ月ぐらいかけてNumPyの基礎～実装力をつけるための本を書きました。問題演習形式で221問収録してあります。 着想 以前この本を書いたのですが、ディープラーニングに行く前のNumPyでつまずいている方が結構多かったのです。例えば「np.meanのaxisってどうするの？」や「shapeが何だかわからない」というケース。そこをどうにかケアしようというのが今回の目的です。 NumPyの問題演習は昔からありまして、100 numpy exercisesが有名です。昔初心者の頃自分もやったことがあります。最初の方は良いのですが、あとの方が「これイマイチ何に使うんだろう」という疑問があったのです。今振り返ってみても「NumPyの問題としてはよくても、そこまで実践的ではないな」と多少不満点はありました。「それならもう自分で作ってしまおう」ということで本を書きました。 大事にしたところ 本書を書
Data-oriented Programming in Python
Originally posted 2020-09-13 Tagged: software engineering, computer science, python, popular ⭐️ Obligatory disclaimer: all opinions are mine and not of my employer Many users of Python deprioritize performance in favor of soft benefits like ergonomics, business value, and simplicity. Users who prioritize performance typically end up on faster compiled languages like C++ or Java. One group of users
(修正版) NumPy/pandas使いのためのテスト自動化入門 / PyConJP2020
PyCon JP 2020での発表スライドです。 --------------------------- (2020/08/30) 誤字を修正しました。 場所: p15 誤: assert_array_close() 正: assert_allclose() --------------------------- (2020/08/31) 誤字を修正しました。pandas.util.testingは動作しますが、pandas1.0以降ではdeprecatedになっており代替としてpandas.testingを使うことが推奨されています。 場所: p17 誤: pandas.util.testing 正: pandas.testing なお、p18のサンプルコードは元々pandas.testingで説明していたため変更はありません。 --------------------------- ト
だから僕はpandasを辞めた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita
データサイエンス100本ノック（構造化データ加工編）のPythonの問題を解いていきます。この問題群は、模範解答ではpandasを使ってデータ加工を行っていますが、私達は勉強がてらにNumPyの構造化配列を用いて処理していきます。 次回記事（#2） はじめに Pythonでデータサイエンス的なことをする人の多くはpandas大好き人間かもしれませんが、実はpandasを使わなくても、NumPyで同じことができます。そしてNumPyの方がたいてい高速です。 pandas大好き人間だった僕もNumPyの操作には依然として慣れていないので、今回この『データサイエンス100本ノック』をNumPyで操作することでpandasからの卒業を試みて行きたいと思います。 今回は８問目までをやっていきます。 今回使うのはreceipt.csvだけみたいです。初期データは以下のようにして読み込みました（データ型
PythonでOpenCVに頼らずNumpy+PILで画像処理のフィルタを1から作って理解する - karaage. [からあげ]
画像処理を基礎から学ぶ 私は、カメラが好きなこともあり、画像処理に関しても興味あります。一般的には、RAW現像とかPhotoShopのテクニックなどを身につける人が多いようですが、私の場合は、何故かpythonやOpenCVという便利な画像処理ライブラリを使って画像処理ソフトを自作するところから始めようとしています。 ただ、OpenCVは便利なのですが、便利さがゆえにブラックスボックス的に使ってしまっているのが気になっていました。やっぱり内部で何をしているかわかっていないと、ちょっとAPIに無い処理をしたいときや、問題が発生したときに何をどうすれば良いのか全然分からないですし、OpenCVを使うまでもない処理にOpenCVを使ってしまうのもよろしく無いなと思います。Open CVインストール手間ですし結構時間かかるので（特にRaspberry Piとかだと）。 基礎から理解するには、Ope
![PythonでOpenCVに頼らずNumpy+PILで画像処理のフィルタを1から作って理解する - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/754d90fc67a9ebbd8541fc950f6cfad558a793c1/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20170724%2F20170724112939.jpg)
Style guide — numpydoc v1.8.0rc0.dev0 Manual
Style guide# This document describes the syntax and best practices for docstrings used with the numpydoc extension for Sphinx. Note For an accompanying example, see example.py. Some features described in this document require a recent version of numpydoc. For example, the Yields section was added in numpydoc 0.6. Overview# We mostly follow the standard Python style conventions as described here: S
sphinx.ext.napoleon – NumPy および Google スタイルの docstring をドキュメントに取り込む — Sphinx 1.5.6 ドキュメント
Napoleon - Marching toward legible docstrings¶ 以下のようなdocstringを書こうとしてみたことはあるでしょうか。 :param path: The path of the file to wrap :type path: str :param field_storage: The :class:`FileStorage` instance to wrap :type field_storage: FileStorage :param temporary: Whether or not to delete the file when the File instance is destructed :type temporary: bool :returns: A buffered writable file descriptor :rtyp
[Python]可読性を上げるための、docstringの書き方を学ぶ（NumPyスタイル） - Qiita
日々Pythonの色々な記事がアップされているものの、あまりdocstringに触れている日本語の記事が少ないな・・ということで書きました。 そもそもdocstringって？ Pythonの関数だったりクラスだったりに記述するコメントです。 JSDocだったりのPython版です。 書き方は、最初結構他の言語と違うな・・という印象を受けました。 docstring書くと何が嬉しいの？ 後で見直したときに、すぐ内容が把握できるよ Guido の重要な洞察のひとつに、コードは書くよりも読まれることの方が多い、というものがあります。 はじめに — pep8-ja 1.0 ドキュメント 最初は少し時間がかかっても、書いておくと後でコードを読み直した時の負担が減ります。 関数などを扱う際に、内容を見たりできるよ jupyter などであれば、nbextentionsでhinterlandを有効化する
![[Python]可読性を上げるための、docstringの書き方を学ぶ（NumPyスタイル） - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/dfaa047843f04e332970c0a74f1e00605d8ee219/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJUU1JThGJUFGJUU4JUFBJUFEJUU2JTgwJUE3JUUzJTgyJTkyJUU0JUI4JThBJUUzJTgxJTkyJUUzJTgyJThCJUUzJTgxJTlGJUUzJTgyJTgxJUUzJTgxJUFFJUUzJTgwJTgxZG9jc3RyaW5nJUUzJTgxJUFFJUU2JTlCJUI4JUUzJTgxJThEJUU2JTk2JUI5JUUzJTgyJTkyJUU1JUFEJUE2JUUzJTgxJUI2JUVGJUJDJTg4TnVtUHklRTMlODIlQjklRTMlODIlQkYlRTMlODIlQTQlRTMlODMlQUIlRUYlQkMlODkmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPThhMGJmMmI1MzM2NDVlNDBlM2UyZGZjNDg1NGJmNTlj%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzaW1vbnJpdGNoaWUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTAzNTFhOWFiMzVlNjQwNDIxNzY0MDEzZTMzZTZhNmZk%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D2c9035999f00da0029accbe8604c4563)
Pythonで2点間の距離（様々）を求める方法
how to calculate the distance between two points using python – StackOverflow Distance computations – SciPy.org にある様に，SciPyには色々な距離を求める方法が用意されている． 質問のEuclidean distance（ユークリッド距離）, Manhattan distance（マンハッタン距離）, Supreme distance（多分，チェビシェフ距離と理解）, Minkowski distance（ミンコフスキー距離）をSciPyを使って求めると， import numpy as np from scipy.spatial.distance import euclidean, minkowski, chebyshev, cityblock a = np.array((1
Pythonでの数値計算ライブラリNumPy徹底入門
NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste
NumPyにおける要素のデータ型dtypeの種類と指定方法
まずは、それぞれのデータ型でどのような表記がされるのかを確かめてみましょう。NumPyのndarrayのdtypeは、arr.dtypeのようにして知ることができます。 In [1]: import numpy as np In [2]: a = np.array([0, 1, 2]) # まずは何も指定しない状態で配列を生成。 In [3]: a.dtype # データ型を確かめる。 Out[3]: dtype('int64') In [4]: b = np.array([0, 1, 2], dtype = 'int32') # ビット数を下げてみる。 In [5]: b.dtype Out[5]: dtype('int32') In [6]: b Out[6]: array([0, 1, 2], dtype=int32) In [7]: c = np.array([0, 1, 2],
「数式を numpy に落とし込むコツ」を HMM に当てはめてみる - 木曜不足
数式をnumpyに落としこむコツ View more presentations from Shuyo Nakatani という発表を Tokyo.SciPy #2 でさせてもらったのだが、発表＆資料作成の時間の関係で、実際に数式を解釈する例を2つしか入れられなかったのが残念なところ。 今、社内 PRML 読書会で 13章の隠れマルコフをやっつけていて、その Baum-Welch の更新式がちょうどいい題材になっていることに気付いたので、ここで取り上げてみる。 (PRML 式 13.36) 結構複雑な印象のある数式だが、こいつも資料の流れに従えば簡単に実装できてしまうことを見ていこう。 数式を読み解く 数式を書き換える numpy に「逐語訳」する というわけでまず「読み解き」だが、これが一番重要なステップ。 特に今回の式の場合は , , の正体をちゃんと見極めておかないといけない。 「正
数学が苦手な人のためのNumPy用例集 - Qiita
NumPyは、科学技術計算を行う、特に行列や多次元配列の計算をするのに便利なPython用の拡張モジュールです。 ですが、数学を使わなくても、NumPyは便利です。 特に、[ [1,2],[3,4],[5,6] ]のような多重リストを使う代わりに、NumPyの配列を使った方が便利な場合があります。 今回は、NumPyの主に配列の使い方について、用例を挙げて紹介したいと思います。 はじめに NumPyは、数学向けのライブラリーではありますが、NumPyの配列は、数学とは関係なく便利に使える部分もあります。 とは言え、ウェブ上のサンプルは数学で使う人のものが多いですし、数学以外で具体的にどう使うのかは分かりにくいのではないかと思いました。 そこで、数学とはほとんど関係ない使い方をいくつか例示して、NumPyの（主に配列の）便利さを紹介するのがこの記事の目的です。 私も数学は得意ではないですし、
機械学習のためのPythonの基礎「NumPy」を学ぶ - learning.ikeay.net
機械学習といえば「Python」です。なぜPythonなのかというと、数値演算や機械学習に関するライブラリがたくさん揃っているからだそう。行列がとても扱いやすいNumPy、グラフ描画が簡単にできるmatplotlib、機械学習のscikit-learnなどなど… 機械学習ではこの３つのライブラリを大いに活用します。 まずは今回はscikit-learnを使った機械学習ではかなり重要になってくる「NumPy」を学びます。 私はPythonもはじめてなのでまずはPythonの概要を把握しつつ、「100 numpy exercises」というNumPyを基礎から学べる問題集を写経して学習したいと思います。 環境構築 まずは環境構築です。詳しくは下記のリンクに飛んで確認いただきたいのですが、Macの場合は、Pythonのバージョン管理システムである「pyenv」と、分析環境を構築するのに便利な「A
PythonからJavaScriptに桁落ちなしで浮動小数点数のデータを移す - Qiita
Pythonで作成した64ビットの浮動小数点数の数値を、そのままJavaScriptに持って行きたいことってありますよね？どっちもIEEE-754の64ビット(符号1ビット、仮数52ビット、指数11ビット)です。 そのまま渡せたらいいんですが、ダンプして10進数で出すと丸めとか行われてしまってうれしくありません。 このエントリーでは、誤差なしでそのまま浮動小数点数渡す方法を詳解します。 実際には、JavaScriptはECMAScriptの仕様で決められていて、PythonはCのdoubleと同じなので、結果としていまあるほとんどのOSの環境で同じフォーマットになっています。 Pythonで浮動小数点数バイト表現の文字列でエクスポートする float64はstruct.packを使ってバイト配列にして、その後formatで16進数の文字列にします。ネットワークバイトオーダーで出しています。
Pythonの数値計算ライブラリ NumPy入門
Scientific Computing Tools For Python — Numpy NumPy は Pythonプログラミング言語の拡張モジュールであり、大規模な多次元配列や行列のサポート、これらを操作するための大規模な高水準の数学関数ライブラリを提供する。(via Wikipedia) これまで知識があいまいだったNumPyについて、もう一度おさらいしたいと思います。NumPyはSciPyと併せて科学技術計算でよく利用されています。また、高速に行列演算ができるのでOpenCV(コンピュータビジョンライブラリ)でもNumPyを利用したPythonインタフェースが提供されるようになりました。 OpenCVのPythonバインディングについては去年のエントリーでも取り上げていますので参考までに。 * さくらVPSにOpenCVをインストールしてPythonから使う [2017/04/2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Numpy100本ノックで出会った「こりゃあ、便利だなぁ～」と思った関数一覧 - Qiita
GitHub - wesm/pydata-book: Materials and IPython notebooks for "Python for Data Analysis" by Wes McKinney, published by O'Reilly Media
数式を綺麗にプログラミングするコツ #spro2013
