AnacondaのNumPyとpipによるNumPyの速度の違い | CCT-recruit
こんにちは、エンジニアのtetsuです。 Pythonで機械学習をおこなう人はAnacondaを使っている方も多いのではないのでしょうか。 Anacondaを使えば、一発でNumPyやscikit-learn、Matplotlib、Pandasといった便利なライブラリを導入することができるので人気なのもうなずけます（一方で不便な面もありますが）。しかしながら、Anacondaを使うメリットはそれだけではありません。 NumPyで呼び出される行列演算を実際に担うBLAS (Basic Linear Algebra Subprograms)というものには様々な実装法が存在しているのですが、その一つがIntel社が開発しているIntel MKL(Math Kernel Library)となります。実はAnacondaによってインストールされたNumPyから呼び出されるBLASはMKLになっていま
日本の科学技術計算コミュニティが目指すべき姿 ―SciPy Japan 2019レポート | gihyo.jp
4月23～24日、東京でSciPy Japan 2019が開催されました。SciPyはNumPy、matplotlib、Jupyterなど科学計算系のPythonパッケージの開発者やユーザー向けコミュニティで、本場アメリカでは、2002年から毎年カンファレンスが開催されています。今回は日本で初めてSciPyのカンファレンスが開催されましたが、5か国から90名が参加する盛況ぶりでした。現在、多くの注目を集めているTensorFlowやChainerなどのディープラーニング用のPythonパッケージのほか、Jupyter NotebookやApache Arrow、Daskなどの技術トピックにふれる発表もあり、濃厚な2日間となったカンファレンスの内容をレポートします。 1日目：初心者向けチュートリアル 「Hands-on TensorFlow 2.0」 1日目のチュートリアルは、TensorF
gstore_fdw: GPUメモリをSQLで読み書き、そして…。 - KaiGaiの俺メモ
昨年、PGconf.ASIAで発表したPL/CUDAによる創薬ワークロードの高速化実験のテーマであるが、 kaigai.hatenablog.com 実測したベンチマークを見ると、奇妙な傾向が見てとれる。 このワークロードにおける計算量は「Qの行数×Dの行数」であるので、Dの行数が同じ1000万行であるならば、Qの行数が1000のケース（22.6s）に比べ、Qの行数が10のケース（13.4s）の実行時間はもっと顕著に短時間でなければならない。 計算量が1/100なのに、実行時間は半分弱にしかなっていない。 実はこれは、化合物同志の類似度を計算するための時間だけでなく、PL/CUDA関数に与える引数をセットアップするための時間に12秒程度を要しており、アムダールの法則を引用するまでもなく、類似度の計算を高速化するだけでは処理速度はこれ以上伸びないのである。 PL/CUDA関数の引数として行列
今日覚えたNumPyのテクニック - くじらにっき++
今日覚えたNumPyのテクニックを紹介します。 numpy.stack で2次元配列を繋げて3次元配列を作る 1次元配列を繋げて2次元配列を作りたいような場合には numpy.vstack や numpy.hstack という関数があります。 a = numpy.array([1, 2, 3, 4]) b = numpy.array([2, 4, 6, 8]) c = numpy.array([3, 6, 9, 12]) numpy.vstack([a, b, c]) # array([[ 1, 2, 3, 4], # [ 2, 4, 6, 8], # [ 3, 6, 9, 12]]) 2次元配列を繋げて3次元配列を作りたいような場合にはどのようにすればよいか知らなかったのですが，numpy.stack という関数があることを知りました。 a = numpy.array([[1, 2, 3
builderscon tokyo 2017 で横山三国志の「うむ」の数を伝えに行ったハナシ | Heruheru3
2017/8/3〜8/5 に開催の builderscon tokyo 2017 に行ってきました。 ついでに色々あってスピーカーとして登壇してきました。 詳細はこちら。 横山三国志に「うむ」は何コマある？〜マンガ全文検索システムの構築 ウムの数を数えるに至るまで そもそもこの話がどこから始まったかというと、十数年前に 二次裏(虹裏)という掲示板で突如「ウム！」 というコマが貼られだした辺りだと思います。 当時広島で大学生しててCREATIVEという部の部長だったんですけど(今でもあるのかな？)、大学祭のときに何故か皆でウムの人を書き続けるという遊びをしていました。 そこから、それまでは読んだことあるなー程度だった横山三国志に深くハマることになります。 なお、大学では「マルコフ確率場を用いた自動作曲」という、今のDeepLearningが出る前のAIで生成系の研究をしていました。これ
SPTKの使い方 (6) MFCCの抽出 - 人工知能に関する断創録
SPTKの使い方 (5)（2012/8/1）の続き。 今回は、音声認識の特徴量としてよく使われるメル周波数ケプストラム係数 MFCC（2012/2/25）をSPTKで抽出してみました。使うコマンドは、mfccです*1。 x2x +sf < data.short| frame -l 640 -p 160 | \ mfcc -l 640 -f 16 -m 12 -n 20 -a 0.97 > data.mfcパラメータの意味は、 -l 640 フレーム長は640サンプル -f 16 サンプリング周波数は16kHz -m 12 MFCCの次元は12次元 -n 20 メルフィルタバンクのチャンネル数は20 -a 0.97 プリエンファシス係数は0.97 です。まあ、-lと-fと-m以外はデフォルトでいいかな？mfccコマンドには、-c 22（リフタリング係数）というオプションもあったのですが、これ
numpyやchainerでのベクトル、行列、テンソルの積関連演算まとめ - verilog書く人
年末年始にテンソル積と格闘しわけがわからなくなったのでメモ。 numpyのいわゆる積と呼ばれるAPIには、 numpy.multiply, numpy.dot, numpy.vdot, numpy.inner, numpy.cross, numpy.outer, numpy.matmul, numpy.tensordot, numpy.einsumとまあ結構たくさんあります。 特にnumpyについてまとめますが、chainerやtensorflowで同名のAPIが存在する場合、numpyと同じインターフェイスで設計されていますのでほぼ同じ計算をします（はずです）。 コンテンツ 要素ごとの積(*,numpy.multiply) ベクトルの積(numpy.dot, numpy.vdot, numpy.inner, numpy.cross, numpy.outer) 行列積(numpy.matm
見積りで考える内積 - Qiita
内積は計算方法としてはそれほど難しいものではありませんが、色々な応用があるためイメージしにくい計算です。幾何学的な意味付けがありますが、そのようには解釈しにくい計算にも応用されます。例として、日常的にも触れる機会の多い計算書（見積りなど）を取り上げます。NumPyによる計算を添えます。 行列で何を計算しているのかいまいち実感が湧かないという方へのヒントになることを目指しています。 シリーズの記事です。 見積りで考える内積 ← この記事 関数で考えるコベクトル 関数で考える行列 関数で考える双対性 コベクトルで考えるパーセプトロン
Linuxでユーザー空間で動作するプログラムとハードウェアがメモリを共有するためのデバイスドライバ（NumPy対応） - Qiita
はじめに 前回投稿した「Linuxでユーザー空間で動作するプログラムとハードウェアがメモリを共有するためのデバイスドライバで紹介したudmabufを NumPy(Pythonの数値計算ライブラリ)で使えるようにしました。具体的には、udmabuf でカーネル内に確保したバッファ領域を NumPy の memmap でマッピングして、ndarray と同じような操作が出来るようにします。この記事では、その方法について説明します。 udmabuf の更新 残念ながら udmabuf のバージョンが version 0.5.0(2016/4/24) 以前では、次のようなエラーが出ます。 shell# python Python 2.7.9 (default, Aug 13 2016, 17:56:53) [GCC 4.9.2] on linux2 Type "help", "copyright"
Pythonによる機械学習の最前線
トップエスイー実践プログラミングセミナーシリーズ 「TensorFlowによるニューラルネットワーク入門」 で使用した資料です。 http://topse.or.jp/%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0%E3%82%BB%E3%83%9F%E3%83%8A%E3%83%BC%E3%80%8Ctensorflow%E3%81%AB%E3%82%88%E3%82%8B%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D/ 2016/11/17 ver1.0 公開 2016/11/28 ver1.1 Update 2017/01/21 ver1.2 Update 2017/01/24 ver1.3 Update
Python Dask で 並列 DataFrame 処理 - StatsFragments
はじめに 先日のエントリで少し記載した Dask について、その使い方を書く。Dask を使うと、NumPy や pandas の API を利用して並列計算/分散処理を行うことができる。また、Dask は Out-Of-Core (データ量が多くメモリに乗らない場合) の処理も考慮した実装になっている。 sinhrks.hatenablog.com 上にも書いたが、Daskは NumPy や pandas を置き換えるものではない。数値計算のためのバックエンドとして NumPy や pandas を利用するため、むしろこれらのパッケージが必須である。 Dask は NumPy や pandas の API を完全にはサポートしていないため、並列 / Out-Of-Core 処理が必要な場面では Dask を、他では NumPy / pandas を使うのがよいと思う。pandasとDas
Python 次世代の多次元配列パッケージ群 - StatsFragments
このところ、たびたび NumPy 後継が...とか 並列処理が...という話を聞くので、この秋 注目の多次元配列パッケージをまとめたい。 バックエンド系 NumPy のように数値計算処理を自前で実装しているパッケージ。 DyND Blaze プロジェクトのひとつ。C++ 実装 + Python バインディング。GitHub にいくつか Example があがっているが、複合型やカテゴリカル型、GroupBy 操作がサポートされていて熱い。ラベルデータも NumPy より簡単に実装できそうだ。 speakerdeck.com 並列分散系 自身では直接 数値計算処理を行わず、バックエンド ( 主に NumPy )を利用して並列/分散処理を行うパッケージ。1 物理PC/複数コアでの並列計算を主用途とし、NumPy, pandas では少し苦しいが PySpark などを使うほどじゃない...とい
NumPy でつくる俺々データ構造 - StatsFragments
はじめに Python での数値計算の基盤をなす NumPy 、直感的なスライスやブロードキャスト、関数のベクトル適用など大変便利だ。 import numpy as np np.__version__ # '1.9.2' np.array([1, 2, 3]) # array([1, 2, 3]) np.array([1, 2, 3])[:2] # array([1, 2]) np.array([1, 2, 3]) + 1 # array([2, 3, 4]) が、用途によっては NumPy 標準ではその機能を実現できない場合がある。例えば、 配列とメタデータをひとつのクラスで扱いたい 配列への入力や型を制約/検証したい 自作クラスを NumPy の Universal Functions (ufunc) に対応させたい 新しい型 ( dtype ) を作りたい こういったとき、NumP
データ分析者に嬉しいPyCharm4の新機能 - Librabuch
先日リリースされたPyCharm4には、データ分析者にも嬉しい機能が追加されています。 NumPy Array Viewer IPython notebook Support NumPy Array Viewer NumPyのArrayの状態を可視化してくれるツールです。 import numpy as np test_array = np.arange(25).reshape(5, 5) Debug Consoleから「View as Array」を選択すると、Viewerを表示できます。 簡単に中身を確認するには便利そうです。 大きな行列を表示させるとこんな感じ。。 IPython notebook Support IPython notebookはWebブラウザでPythonが実行できる素敵な環境ですが、PyCharm4がnotebookをサポートしました。 Demo.ipynb（n
『学んだ数式をコーディングする環境』をJuliaで構築 - アドファイブ日記（ミラー版）
機械学習／データマイニングのバックグラウンドにある数式をきちんと学んだら、実際にアルゴリズムをコードとして書いてみるととても力が着くと思います。便利なパッケージやツールも色々とありますが、ソフトウェアエンジニアだったら製品開発のために独自に実装できるようになりたいって思うものですよね？ プロダクション利用を見越して、かつ、学べるソフトウェア環境として候補は以下かなと思います。 Python（Pandas+Scipy/Numpy/SkLrn） C++（RcppパッケージやJubutusプラグイン） Julia 全部試してみたいのですがとりあえず面白そうなJuliaで環境構築してみます。（すみません、私はWindows+UbuntuなユーザなのでMacや他のLinuxについてはもし参考になれば幸いです） IDE(統合開発環境) JuliaはShell+Emacsでも便利だと思いますがWindo
Numba — Numba
Numba makes Python code fast Numba is an open source JIT compiler that translates a subset of Python and NumPy code into fast machine code. Learn More Try Numba » Accelerate Python Functions Numba translates Python functions to optimized machine code at runtime using the industry-standard LLVM compiler library. Numba-compiled numerical algorithms in Python can approach the speeds of C or FORTRAN.
第2回 Tokyo.SciPy で「数式を numpy に落としこむコツ」を発表してきました - 木曜不足
10/15 に IBM さんの渋谷オフィスにて開催された 第2回 Tokyo.SciPy にのこのこ参加してきました。主催の @sla さんはじめ、参加者・発表者各位おつかれさまでした＆ありがとうございました。 せっかく行くならなんか発表したいよね、ということで「数式を numpy に落としこむコツ 〜機械学習を題材に〜」なんてタイトルで、数式(あるいは数式入りのアルゴリズム)を実装するときに、どういう点に注目すれば易しくコードを書けるか、についてちらちら語ってみた。 こちらがその資料。 数式をnumpyに落としこむコツ View more presentations from Shuyo Nakatani 例えば、機械学習の(多クラス)ロジスティック回帰という技術では、次のような数式が登場する。 (PRML (4.109) 式) これを一目見てすらすらとコードが書けるなら苦労はないが、慣
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - IntelPython/sdc: Numba extension for compiling Pandas data frames, Intel® Scalable Dataframe Compiler
GitHub - dmlc/minpy: NumPy interface with mixed backend execution
http://blog.yuku-t.com/entry/20110325/1301048750