numpy で高速に区間列どうしの要素を対応付ける - Qiita
やりたいこと 一次元の区間(s,t)の集合が2つ(s1 と s2)存在する。 s1中のある要素s1_iが、s2中のどの要素s2_jに対応するかを表現する組合せF (F: s1 -> s2)を作りたい。 詳細な条件 s1 と s2は、それぞれ $10^3$ 個程度の要素を持つ 対応付けは1分以内に完了したい 方針 全てのs1_iとs2_jで Intersection over Union (IoU)を計算 IoUを一言でいうと、2つの要素における重なりの比率 参照: 【精度指標】IoUとは s1_iごとに、IoUが最大値となるs2_jを取得する 実装 import numpy as np def alignment_sequence(s1: np.ndarray, s2: np.ndarray) -> np.ndarray: assert s1.shape[1] == 2, f"Expect
Numpyが18年ぶりのメジャーアップデート！ 改善点、変更点まとめ - Qiita
NumPy 2.0.0の主要な変更点 皆さんもお世話になっているであろう科学計算ライブラリNumPyが、2006年以降初めてのメジャーアップデートを発表しました。そこで、変更点をざっくりとまとめてみました。以下は変更点の一部であり、それ以外については実際のドキュメントを参照してください。 免責事項：この記事は、NumPy 2.0.0の変更点について個人的な見解を述べたものであり、NumPyの開発チームや関係者の公式な見解を代表するものではありません。変更点の影響や対応方法については、必ず公式のリリースノートと移行ガイドを参照してください。また、この記事には不正確な情報が含まれている可能性があります。記事の内容を実際のプロジェクトに適用する前に、必ず公式ドキュメントで情報を確認してください。 概要 2006年以来の最初のメジャーリリース 破壊的な変更あり 多くの新機能とPython/C AP
［NumPy超入門］Pythonでのデータ処理をNumPyから始めよう！
連載目次 本シリーズと本連載について Pythonは現在とてもよく使われるプログラミング言語の一つです。特に人工知能、機械学習、データ処理やデータ分析といった分野においてはPythonとそのライブラリはとてももてはやされています。ですが、Pythonの基礎を学んだだけで今述べたような分野に乗り出していくのは少し大変なことでもあります。 プログラミング言語だけを覚えても、その言語で何かを行うには十分ではないことはよくあります。特に複雑なことをやろうと思ったら。何かを行うためには、さまざまなライブラリやフレームワークの使い方も学ぶ必要があります。あるいは、自分でそうしたライブラリやフレームワークを構築する方法もありますが、そのためにはかなりの労力が必要となるでしょう。 何かを実現するためにその道具（ライブラリやフレームワーク）から作り始めるのは理想的です。が、例えば数値計算やデータの処理、可視
NumPy Illustrated: The Visual Guide to Numpy
Image credit: AuthorNumPy is a fundamental library that most of the widely used Python data processing libraries are built upon (pandas, OpenCV), inspired by (PyTorch), or can efficiently share data with (TensorFlow, Keras, etc). Understanding how NumPy works gives a boost to your skills in those libraries as well. It is also possible to run NumPy code with no or minimal changes on GPU¹. The centr
[数学・numpy] 高速フーリエ変換(FFT)による畳み込み | maspyのHP
概要 「Python で競技プログラミングをやる」の文脈で、高速フーリエ変換を使うための基礎知識を整理します。 高速フーリエ変換自体は競技プログラミング以外の文脈でも重要なアルゴリズムですが、そうした需要に応えることは、本記事では想定していません。 高速フーリエ変換の詳しいアルゴリズムにはこの記事では触れません（既存の解説が多数ありますし）。代わりにフーリエ変換についての基礎知識について、少し整理しました。ここは、使用言語に関係しない部分です。 最低限、Python での実装だけ見たい人は大部分を飛ばしてよいと思います。 フーリエ変換の性質 フーリエ変換の定義 詳しくは、本記事では扱いません。 $K$ を $1$ の $n$ 乗根を $n$ 個持つ体とします（競プロの文脈だと、$K=\C$ および $K=\F_p$ が重要です）。 $K$ に値を持つ数列 $A = (a_0,a_1,\ld
![[数学・numpy] 高速フーリエ変換(FFT)による畳み込み | maspyのHP](https://cdn-ak-scissors.b.st-hatena.com/image/square/d3b83cb0b151f85f4ab582d54745629884ec04db/height=288;version=1;width=512/https%3A%2F%2Fmaspypy.com%2Fwp-content%2Fuploads%2F2023%2F01%2F5Dth6Yjz_400x400.jpg)
NumSharp：C#で使えるNumPyライクな数値計算ライブラリ
NumSharpは.NET StandardをターゲットとしたNumPyのC#ポートです。NumSharpはC#で科学計算を行う際に必要なとなる基本的なパッケージを提供します。 Pythonで書かれた機械学習コードをC#に書き直すのは大変ですよね？ その理由は、Pythonで使われている関数に対応する機能を.NET SDKでほとんど見つけられないためです。 NumSharpはNumPyのC#版で、関数名やパラメータの配置などのプログラミングインターフェイスをできる限りNumPyに似せています。NumSharpを導入すれば、PythonコードからC#コードへの書き換えが簡単に行えます。 以下はNumSharpとNumPyの比較です。(左：Python, 右：C#)： より詳しい情報はこちらのドキュメントをご覧ください。 https://scisharp.github.io/NumSharp/
『Pythonデータサイエンスハンドブック』は良書（NumPy, pandasほか） | note.nkmk.me
この本は良い。原著のKindle版を持っているのに買ってしまった。 注意点と良い点を紹介する。 目次・内容 注意点 / こんな人にはオススメできない 英語版はオンラインで無料公開されている Pythonの基礎には触れられていない 良い点 / こんな人にオススメしたい NumPyの説明が（比較的）詳しい 新しいバージョンのpandasに対応 Matplotlibの説明が詳しく、サンプルが豊富 機械学習のアルゴリズムへの理解が深まる 類書との比較 『科学技術計算のためのPython入門』 『Pythonによるデータ分析入門』 まとめ 目次・内容 正式な書名は『Pythonデータサイエンスハンドブック ――Jupyter、NumPy、pandas、Matplotlib、scikit-learnを使ったデータ分析、機械学習』。 サブタイトルにある、Jupyter（IPython）、NumPy、pa
google/jax: GPU- and TPU-backed NumPy with differentiation and JIT compilation.
JAX is a Python library for accelerator-oriented array computation and program transformation, designed for high-performance numerical computing and large-scale machine learning. JAX can automatically differentiate native Python and NumPy functions. It can differentiate through loops, branches, recursion, and closures, and it can take derivatives of derivatives of derivatives. It supports reverse-
PandasとNumPyの違いと使い分け方
PandasとNumPyとの違い NumPyは計算が速い Pandasは扱うデータが幅広い PandasはSQLと似た操作が揃っている Pandasは集計関数などの統計処理に強い Pandasは時系列データに強い Pandasは様々なインタフェースとの互換性を持つ 実際のデータ分析での流れ データの可視化の比較 計算速度の比較 違いのまとめ PandasとNumPyの互換性 NumPy→Pandas Pandas→NumPy まとめ Pythonでデータサイエンスをしている人は必ずと言っていいほどPandasとNumPyを使用していると思います。Pandasは、NumPyを利用してさらにAPIを拡張し、使いやすくしたものです。 本記事では PandasとNumPyの違い PandasとNumPyのデータ型の変換方法 について解説します。 PandasとNumPyとの違い PandasとNu
AWS LambdaでNumpy、Scipyを使ってみる！Serverless Frameworkとプラグインを使えばパッケージ管理が簡単！ ｜ DevelopersIO
Numpy、ScipyはLambdaのLayer機能を利用することで今回紹介する方法を使わなくても利用できます。AWSがNumpy、ScipyをホストしたLayerを提供しているので対象のLambdaのレイヤに設定することで利用できます。 詳細はこちらをご確認ください。 どうも！大阪オフィスの西村祐二です。 機械学習やデータ分析でよく目にするライブラリとして、Numpy、Scipyがあると思います。 今回、そのライブラリをAWS Lambda上で動かしてみた、という話になります。 通常、上記を実現するためにいくつか注意点があるのですが、Serverless Frameworkとプラグインのserverless-python-requirementsを使えば、その注意点をほぼ気にすることなく実現できたのでブログにまとめておきます。 AWS Lambdaで外部モジュールを利用する際の注意点 外
Pythonでの数値計算ライブラリNumPy徹底入門
NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste
初心者でもPythonの数値計算ライブラリ「NumPy」の使い方が学べるコンテンツ6選 -
Photo by thekirbster こんにちは。谷口です。 最近は機械学習が流行っていることもあって、Numpyなどの数値計算系のPythonライブラリなどが人気ですよね。 NumPyは機械学習、データマイニング、ディープラーニングなどでも非常によく利用されているPythonの数値計算ライブラリです。 Pythonは、数値計算を素直に書くと処理が遅めな言語ではありますが、NumPyを使えばC言語のネイティブコード上で計算してくれて、処理がとても早くなります。 今回は、初心者の方でもNumpyの使い方を学べるコンテンツを6件ご紹介していきます。 ■初心者でもNumpyの使い方を学べるコンテンツ ◆Numpyの公式ドキュメントとチュートリアル 「配列の基本の使い方」といった、Numpyの基礎的な部分は公式ドキュメントとチュートリアルで学べます。 ◆SciPy Cookbook Numpy
【Day-2】numpyの勉強に『100 numpy exercise』を全部やってみる(初級・中級編) - プロクラシスト
データ分析ガチ勉強アドベントカレンダー2日目。 数式を扱うことが多くなるので、numpyの復習をしたいと思う。使ったのは100 numpy exercise github.com numpyを用いるさまざまな問題が用意されていて、大変勉強になる。 今回は自分の実力を試すために、自分で解きつつ、よく使ったもの/新しく学んだことを列挙していく。 また、問題の和訳と難易度も掲載しているので、自分の実力を試したい人はどうぞ。 自分が書いたコードともこちらに載せた github.com 2日目は、初級・中級を掲載する。上級は明日挑戦して掲載予定。 ★☆☆ : 初級 ★★☆ : 中級 ★★★ : 上級 問題 結果 numpy配列の基本 配列を作る 形を変える endpointの有無 hstack, vstack, concatenate スカラー値を足すとどうなる？ 勉強になった問題(一部抜粋) 24
今日覚えたNumPyのテクニック - くじらにっき++
今日覚えたNumPyのテクニックを紹介します。 numpy.stack で2次元配列を繋げて3次元配列を作る 1次元配列を繋げて2次元配列を作りたいような場合には numpy.vstack や numpy.hstack という関数があります。 a = numpy.array([1, 2, 3, 4]) b = numpy.array([2, 4, 6, 8]) c = numpy.array([3, 6, 9, 12]) numpy.vstack([a, b, c]) # array([[ 1, 2, 3, 4], # [ 2, 4, 6, 8], # [ 3, 6, 9, 12]]) 2次元配列を繋げて3次元配列を作りたいような場合にはどのようにすればよいか知らなかったのですが，numpy.stack という関数があることを知りました。 a = numpy.array([[1, 2, 3
機械学習でも定番のPythonライブラリ「NumPy」の初心者向け使い方チュートリアル - paiza times
秋山です。 私は主にPythonを使って開発をしているので、以前Pythonの便利なライブラリやフレームワークを紹介する記事を書いたのですが（後でリンク貼りますね）、今回はその記事でも紹介したNumPy（なむぱいと読みます）という数値計算用ライブラリの使い方チュートリアルを書きたいと思います。 NumPyは機械学習やディープラーニングなどを学ぶ上でも前提知識とされることが多いため、これからその辺の分野の勉強をしてみたい人の参考になればと思います。 チュートリアルの実行環境は、ブラウザだけでPythonもNumPyも使えるオンラインのプログラミング実行環境「paiza.IO (パイザ・アイオー)」を使っていきます。 ■NumPyにおける配列 NumPyにおける配列は"ndarray"という形式になっていて、このndarrayはいろいろな機能を持っています。 まず、普通のリストをndarray
機械学習のためのPythonの基礎「NumPy」を学ぶ - learning.ikeay.net
機械学習といえば「Python」です。なぜPythonなのかというと、数値演算や機械学習に関するライブラリがたくさん揃っているからだそう。行列がとても扱いやすいNumPy、グラフ描画が簡単にできるmatplotlib、機械学習のscikit-learnなどなど… 機械学習ではこの３つのライブラリを大いに活用します。 まずは今回はscikit-learnを使った機械学習ではかなり重要になってくる「NumPy」を学びます。 私はPythonもはじめてなのでまずはPythonの概要を把握しつつ、「100 numpy exercises」というNumPyを基礎から学べる問題集を写経して学習したいと思います。 環境構築 まずは環境構築です。詳しくは下記のリンクに飛んで確認いただきたいのですが、Macの場合は、Pythonのバージョン管理システムである「pyenv」と、分析環境を構築するのに便利な「A
Python 次世代の多次元配列パッケージ群 - StatsFragments
このところ、たびたび NumPy 後継が...とか 並列処理が...という話を聞くので、この秋 注目の多次元配列パッケージをまとめたい。 バックエンド系 NumPy のように数値計算処理を自前で実装しているパッケージ。 DyND Blaze プロジェクトのひとつ。C++ 実装 + Python バインディング。GitHub にいくつか Example があがっているが、複合型やカテゴリカル型、GroupBy 操作がサポートされていて熱い。ラベルデータも NumPy より簡単に実装できそうだ。 speakerdeck.com 並列分散系 自身では直接 数値計算処理を行わず、バックエンド ( 主に NumPy )を利用して並列/分散処理を行うパッケージ。1 物理PC/複数コアでの並列計算を主用途とし、NumPy, pandas では少し苦しいが PySpark などを使うほどじゃない...とい
「Rプログラミング入門」をPythonで書き直す - めもめも
何の話かというと RStudioではじめるRプログラミング入門 作者: Garrett Grolemund,大橋真也,長尾高弘出版社/メーカー: オライリージャパン発売日: 2015/03/25メディア: 大型本この商品を含むブログを見る 某編集長から上記の書籍が送られてきて、「これは、次はRの本を書けという指示か？？？？」と勘ぐってみたものの、筆者はPython派なので、「これと同じことは全部Pythonでもできるんだよー」と言いたくなって、このエントリーを書き始めた次第です。ちなみに、この本、Rの入門書としてはよくできているので、これのPython版ができたら、それはそれで役に立つ気もします。 なお、このエントリーでは、あくまでコードの部分だけを書き直して、RとPythonの差異についての説明だけを行ないます。コードそのものの説明については、上記の書籍をご購入ください。 環境準備 IP
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://openbook4.me/projects/245/sections/1591
NumPy for MATLAB users – Mathesaurus