ダンゴムシでもわかる特異値分解（SVD） - 論理の流刑地
無脊椎動物なめんな。節足動物なめんな。 Introduction SVDの概要 基本の定義 便利な別表現 基本性質 前提知識：フロベニウスノルムによる距離の定義 性質①：最小二乗近似を得る方法としてのSVD 性質②：行列と転置行列との積の成分分解 性質②の具体的な例 性質③：2つの特異ベクトル間の変換 固有値分解との関係性 実装方法 Rで確認 Conclusion Introduction この世に生を受けて30年以上たつけど、もう5万回くらいSVDのやりかたを覚えて忘れてまた覚え直すを繰り返している。 肌身に染み込んで行かないのが文系ブレインの限界ですよね... ゆえに、SVDの概要・用途・実装方法をここに記す。 [参考文献] ①：千葉大羽石研究室のサイト（授業「医用画像工学」のスライド） ②：小野滋さんのWeb上の公開資料（Greenacre1984の和訳・解説） ③：ボレガラ・岡崎・
次元削減手法（まとめと実装）PCA, LSI(SVD), LDA, ICA, PLIS - Qiita
はじめに この記事では次元削減法のまとめを載せてます。まとめ要素を強めたかったので詳細な数式等は載せていません。毎回の終わりにもっと詳しいことが書かれている参考文献等を載せているのでご自由に閲覧してください。また間違え等があった場合は下のコメント欄か編集リクエストで教えて頂けると有難いです。 目次 PCA (主成分分析) LSA(SDA) (潜在意味解析 (特異値分解)) LDA (線形判別分析) ICA (独立成分分析) PCA (主成分分析) WHAT: PCAとはWikipediaによると、「主成分分析（しゅせいぶんぶんせき、英: principal component analysis; PCA）とは、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法[1]。データの次元を削減するために用いられる。主成分を与える変換
【Python】SciPyの特異値分解ともうちょっと速い特異値分解【SVD】 - 音楽プログラミングの超入門（仮）
photo by Jared Tarbell 特異値分解とは？ 特異値分解 - Wikipedia SciPyの特異値分解 SciPyには特異値分解のための関数が2種類入っています。 scipy.linalg.svd scipy.sparse.linalg.svds 前者（svd）が一般的な特異値分解、後者（svds）がスパース行列に対する特異値分解の関数となっています。しかし、おそらく svds は別の場面で使う場合が多いのではないでしょうか。 svd では全ての特異値を計算するのに対し、svds では上位 k 個の特異値のみを計算させるオプションが存在します。当然、k が小さいほど計算は速く終わるため、スパース行列でなくても、上位の特異値のみが必要な場合は svds を使ったほうが圧倒的に計算が速いことが多いです。 PROPACK SVD のスピードについて調べているときに下のような記
PCAとSVDの関連について - Qiita
この場合、長さ、幅、重さ……などの測定値を 特徴量 、製造所IDを ラベル として何らかの機械学習をすることが考えられます。ただ、多くの場合、この特徴量が多すぎるといった状況が発生します。中には、「製造に要した時間」のようなおおよそ関係なさそうな測定値が入っていたり、重さと体積のような、明らかに相関がありそうなものが入っていたりします。 人間であれば「この特徴量は関係なさそうだな」とあらかじめアタリをつけて表から落としたりもできますが、基本的に機械学習アルゴリズムは与えられた特徴量を公平に評価します。その結果、ラベルと論理的に関係がない特徴量にまで相関を見出してしまう……なんてことも起こってしまいます。 また、特徴量どうしに相関がある場合、それらのモデル内での役割はほぼ同じであり、そこまで多くの情報を持っていることにはなりません。極端な例を挙げると、「長さ」のカラムが表に2つあってまったく
プリキュアとセーラームーンはどちらの方がサザエさんに近いのか？ - kensuke-miの日記
この記事ではこんなことを書くよ テキストマイニング的に次元削減とプロットする話 t-SNEとかいうイケてる名前のアルゴリズム プリキュアとセーラームーンはどっちの方がいいか はじめに 計算機分野に所属する人たちは時々、本当に間抜けなことを真面目に取り組もうとします。 例えば、自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみるとか眼鏡っ娘分類器を作る話とか。 ぼくも多分に漏れず、間抜けなことをよく取り組もうとします。 きっと、データサイエンティストと言っているけど、実際は、データマゾヒストなのですね。 さて、きょう、取くんで見る課題は「プリキュアとセーラームーンはどっちの方がサザエさんに近いのだろう？」というお題です。 実にどーでもいいお題ですが、簡単に答えられる人もそうそういないでしょう。 Googleにも聞いてみましたが、満足な答えは得られませんでした。 それで
Relationship between SVD and PCA. How to use SVD to perform PCA?
Principal component analysis (PCA) is usually explained via an eigen-decomposition of the covariance matrix. However, it can also be performed via singular value decomposition (SVD) of the data matrix $\mathbf X$. How does it work? What is the connection between these two approaches? What is the relationship between SVD and PCA? Or in other words, how to use SVD of the data matrix to perform dimen
行列計算を利用したデータ解析技術
1. 九州数学教育会第 6 回算数数学教育研修会 (於. 福岡県立修猷館高等学校) 行列計算を利用したデータ解析技術 主成分分析・多次元尺度構成法 溝口佳寛 九州大学 マス・フォア・インダストリ研究所 http://www.slideshare.net/yoshihiromizoguchi/ 2012 年 4 月 15 日 (日) 溝口佳寛 (九大 IMI) 行列計算を利用したデータ解析技術 2012/04/15 1 / 44 2. 目次 1 .. 自己紹介 2 はじめに 3 .. 最初の例 4 準備 5 .. 特異値分解 (SVD) 6 主成分分析 (PCA) 7 .. 多次元尺度構成法 (MDS) 8 まとめ 9 .. 参考文献 .. .. .. 溝口佳寛 (九大 IMI) 行列計算を利用したデータ解析技術 2012/04/15 2 / 44 5. プロフィール 計算について論理的・数
SVDによる次元圧縮の効果を見てみる - あるshimaoの備忘録的な何か
SVD入門 SVDについてはwikipediaやteramonagi大先生のRcppEigen & singular value decompositionを参照していただきたく思います。 今回やっていることを手順ごとに簡単に書くと、 １．行列XをX=UΣV^Tと分解 ２．情報量の多い上位k個の特異値を用いk列の正規直交ベクトルV_kを得る ３．XV_kを計算することで情報量を圧縮した空間に元々の行列XをX_kに写像する 情報が落ちるというマイナス面はあるのですが、ノイズ軽減、計算時間削減などの効果もあります。 今回はディスプレイ広告をクリックするか否かを広告の情報などから学習するモデルの構築をSVDを使った例として挙げています。 といっても、ノイズの多いスパースなデータをSVDで圧縮してC-SVM（ソフトマージンSVM）にかけるだけの簡単なお仕事です。 今考えると発生させたデータはスパー
特異値分解の定義，性質，具体例 | 高校数学の美しい物語
特異値分解とは，m×nm\times nm×n 行列 AAA を A=UΣVA=U\Sigma VA=UΣVと分解することです。ただし， UUU は m×mm\times mm×m の直交行列（各列が互いに直交する行列 →直交行列の定義と性質） VVV は n×nn\times nn×n の直交行列 Σ\SigmaΣ は図のような行列 つまり「非対角成分は 000，対角成分は非負で大きさの順に並んだ行列。 です。任意の行列はこのように分解できます。また，Σ\SigmaΣ の対角成分で 000 でないもの（000 を含めることもある）を特異値と言います。 A=(22221−11−1−11−11)A=\begin{pmatrix}2&2&2&2\\1&-1&1&-1\\-1&1&-1&1\end{pmatrix}A=⎝⎛21−12−1121−12−11⎠⎞ の特異値分解（の1つ）は
IDRE Stats – Statistical Consulting Web Resources
Statistical Consulting Web Resources
単語の頻度からLDAまでの流れの簡単なイメージのメモ - 唯物是真 @Scaled_Wurm
トピックモデルのLDA(Latent Dirichlet Allocation)が難しいって話をよく聞きますけど，詳しい理論的な部分はともかくどういう流れに位置するものかってのはわかりやすいので簡単にメモ． 専門でないので，詳しくは参考文献を読んだほうがいいです． トピック 同じ文書内で使われる確率が高いような似た意味を持つ単語の集まり． 例えばスポーツトピックなら「野球」「サッカー」「ボール」が出やすい，など． トピックモデルは文書のトピックと，トピックに属する単語を推定する． 単語頻度からトピックモデルまでの流れのイメージ 文書をモデル化しよう→単語の頻度 同義語や多義語を捉えよう≒次元削減をしよう→LSA＝SVD→以下がトピックモデル 確率的にしよう→PLSI ベイズ的にしよう＝訓練データに登場しなかったものにも対応できる→LDA トピック数が自動で決まるようにしよう→ノンパラメトリ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Singular Value Decomposition (SVD): Tutorial Using Examples in R | R-bloggers
Principal Component Analysis
Computing and visualizing LDA in R | R-bloggers