Scipyでの疎行列の扱い - Qiita
pythonで疎な文書ベクトルの類似度や距離を計算をするメモ Scipyで疎行列を使う際の基本的な操作について 書いたのが昔なので、どっか間違ってるかも import scipy.sparse as sp import numpy as np a = sp.lil_matrix((1, 10000)) # 1*10000の疎行列が作成される b = sp.lil_matrix((1, 10000)) # a.shape => (1, 10000) for i in xrange(a.shape[1]): r = np.random.rand() if r < 0.9: r = 0.0 a[0, i] = r # aの各要素にrandomで数値を格納した a # => <1x10000 sparse matrix of type '<type 'numpy.float64'>' with 9
高次元データの次元削減および2次元プロット手法 - Qiita
はじめに 本記事はPython2.7, numpy 1.11, scipy 0.17, scikit-learn 0.18, matplotlib 1.5, seaborn 0.7, pandas 0.17を使用しています． jupyter notebook上で動作確認済みです．(%matplotlib inlineは適当に修正してください) SklearnのManifold learningの記事を参考にしています． 多様体学習と言われる手法について，sklearnのdigitsサンプルを用いて説明します． 特にt-SNEはKaggleなどでもたまに使用されている，多次元データの可視化に適した手法です． また可視化だけでなく，元のデータと圧縮されたデータを結合することで，単純な分類問題の精度を向上することができます． 目次 データの生成 線形要素に注目した次元削減 Random Proj
numpy, scipyでOpenBLASを使う - Qiita
numpy，scipyが遅いと感じた場合，blasの設定を確認するとよい．試した環境はubuntu14.04． 確認方法は，python立ち上げて >>> import numpy >>> numpy.show_config() lapack_opt_info: extra_link_args = ['-Wl,-framework', '-Wl,Accelerate'] extra_compile_args = ['-msse3'] define_macros = [('NO_ATLAS_INFO', 3)] blas_opt_info: extra_link_args = ['-Wl,-framework', '-Wl,Accelerate'] extra_compile_args = ['-msse3', '-I/System/Library/Frameworks/vecLib.fra
【NumPy / SciPy】Pythonでデータの標準化 |
NumPyの mean と std を使う方法。 In [1]: import numpy as np In [2]: x = [1,2,3,4,5,6,7,8,9] In [3]: x_copy = np.copy(x) In [4]: x_std = (x_copy - x_copy.mean()) / x_copy.std() In [5]: x_std Out[5]: array([-1.54919334, -1.161895 , -0.77459667, -0.38729833, 0. , 0.38729833, 0.77459667, 1.161895 , 1.54919334]) In [6]: np.mean(x_std) Out[6]: 0.0 In [7]: np.std(x_std) Out[7]: 1.0 mean, std を使った方法は Pandas でもできる
Scipyの疎行列を使った文書間コサイン類似度の計算 – はむかず！
私のブログが引用されているこんな記事 (未解決)大規模疎行列のコサイン類似度 – studylog/北の雲 を見つけたので乗っかってみる。しかも、未解決って書いてあるし。 文書群データが疎行列\(A\)で与えられているとする。ここで、各行が文書を、各列が語を表しているとする。ここで文書間のコサイン類似度を総当りで計算したいものとして、その方法を示す。 \(A\)の各行をベクトルと見てL2ノルムで正規化したものを\(\tilde{A}\)とすると、コサイン類似度を示す行列は \[ \tilde{A} \tilde{A}^T \] で計算できる。 では\(\tilde{A}\)をどう計算するかだが、ブロードキャスティングを使ってインプレイスで求めるのがいいかと思う。以下にサンプルコードを示す。 from scipy.sparse import lil_matrix import numpy a
NumPy・SciPyを用いた数値計算の高速化 : 応用その1 - Qiita
対象 Python及びNumPy初心者に向けて書いています. 「C言語は使えるけど最近Pythonを始めた」とか「Pythonらしい書き方がよくわからない」に該当する物理系の数値計算を目的とした方には特に有用かもしれません. また, 自分の不勉強のために間違った記述があるかもしれません. ご容赦ください. あらまし 内容はNumPyを用いた数値計算の高速化 : 基礎のつづきです. ndarrayのユニバーサル関数や演算を用いて可能な限りforループを使わずに基礎的な数値計算を実装していきます. 今回からSciPyも仲間に加わります. 以下ではNumPy・SciPyの関数の詳しい実装についてはあまりコメントしていないので, わからないことがあったら是非リファレンスを読んでみてください. 言わずもがな, 車輪の再発明をしないことがとっても大事です. 微分 物理の基礎方程式には微分がつきものです
NumPy・SciPyを用いた数値計算の高速化 : 応用その2 - Qiita
対象 Python及びNumPy初心者に向けて書いています. 「C言語は使えるけど最近Pythonを始めた」とか「Pythonらしい書き方がよくわからない」に該当する物理系の数値計算を目的とした方には特に有用かもしれません. また, 自分の不勉強のために間違った記述があるかもしれません. ご容赦ください. あらまし NumPyを用いた数値計算の高速化 : 基礎 NumPy・SciPyを用いた数値計算の高速化 : 応用その1 の続きになります. 基礎的な数値計算の手法を追っていきますが, 今回は少し発展的な内容も含みます. 代数方程式 / 超越方程式 代数方程式はいわゆる手で解けるふつうの方程式です. 超越方程式は随分大仰な名前ですが, 代数的な手法で解けない方程式のことを指します. 具体的には $$ \sin(x) = \frac{x}{2} $$ こんな子です. この方程式は, 「$\s
NumPy・SciPyによる高速化の実力を見る - Qiita
あらまし 以前の記事でNumPy・SciPyの高速化にまつわる事柄を書きました: NumPyを用いた数値計算の高速化 : 基礎 NumPy・SciPyを用いた数値計算の高速化 : 応用その1 NumPy・SciPyを用いた数値計算の高速化 : 応用その2 ホントに早くなってるの？ちゃんと調べてみましょう. 調査方法 Pythonによるオレオレ実装と比較します. 速度よりシンプルさを重視した実装との比較なので正当な評価とは言い難いかもしれません. Pythonはanaconda3, 時間計測にはIPythonの%timeitを使用します. --実行環境-- OS : Ubuntu16.04 LTS 64bit Python : anaconda3-4.1.1 CPU : Intel Corei5 3550 (4-core / 4-thread) リストの初期化 たとえば行列の初期化です.
Linear algebra (numpy.linalg) — NumPy v2.1 Manual
Linear algebra (numpy.linalg)# The NumPy linear algebra functions rely on BLAS and LAPACK to provide efficient low level implementations of standard linear algebra algorithms. Those libraries may be provided by NumPy itself using C versions of a subset of their reference implementations but, when possible, highly optimized libraries that take advantage of specialized processor functionality are pr
numpy.random.randint — NumPy v1.16 Manual
numpy.random.randint¶ numpy.random.randint(low, high=None, size=None, dtype='l')¶ Return random integers from low (inclusive) to high (exclusive). Return random integers from the “discrete uniform” distribution of the specified dtype in the “half-open” interval [low, high). If high is None (the default), then results are from [0, low). low : int Lowest (signed) integer to be drawn from the distrib
numpy.nan_to_num — NumPy v2.1 Manual
numpy.nan_to_num# numpy.nan_to_num(x, copy=True, nan=0.0, posinf=None, neginf=None)[source]# Replace NaN with zero and infinity with large finite numbers (default behaviour) or with the numbers defined by the user using the nan, posinf and/or neginf keywords. If x is inexact, NaN is replaced by zero or by the user defined value in nan keyword, infinity is replaced by the largest finite floating po
Overview — NumPy v1.8 Manual
Version: 2.1 Download documentation: Historical versions of documentation Useful links: Installation | Source Repository | Issue Tracker | Q&A Support | Mailing List NumPy is the fundamental package for scientific computing in Python. It is a Python library that provides a multidimensional array object, various derived objects (such as masked arrays and matrices), and an assortment of routines for
numpy.matrix — NumPy v2.1 Manual
numpy.matrix# class numpy.matrix(data, dtype=None, copy=True)[source]# Returns a matrix from an array-like object, or from a string of data. A matrix is a specialized 2-D array that retains its 2-D nature through operations. It has certain special operators, such as * (matrix multiplication) and ** (matrix power). Note It is no longer recommended to use this class, even for linear algebra. Instead
行列 - Wikipedia
数学の線型代数学周辺分野における行列（ぎょうれつ、英: matrix）は、数や記号や式などを縦と横に矩形状に配列したものである。 概要[編集] 行・列[編集] 横に並んだ一筋を行(row)、縦に並んだ一筋を列(column)と呼ぶ。 例えば、下記のような行列 は2つの行と3つの列によって構成されているため、(2,3)型または2×3型の行列と呼ばれる。 成分[編集] 書き並べられた要素は行列の成分と呼ばれ、行列の第 i 行目、j 列目の成分を特に行列の (i, j) 成分と言う。行列の (i, j) 成分はふつう ai j のように二つの添字を単に横並びに書くが、誤解を避けるために添字の間にコンマを入れることもある。また略式的に、行列 A の (i, j) 成分を指定するのに Ai j という記法を用いることもある。 和・積[編集] 行列の和は、行の数と列の数が同じ行列において、成分ごとの計
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Generalized additive models (GAMs)? · Issue #3482 · scikit-learn/scikit-learn
https://qiita.com/gash717/items/cea49826f9bd023f2184
http://pandas.pydata.org/pandas-docs/stable/sparse.html