統計学復習メモ11: なぜ特異値分解で主成分が求まるのか - Weblog on mebius.tokaichiba.jp

かつてＪＲ横浜線 十日市場駅近くのMebius (CPU:Pentium 150MHz)より発信していたウェブログです。 前々項に書いたように、主成分分析は特異値分解を使っても計算できる。なぜだろうか。 それについても答えを得たので、ついでにメモしておく。 ｎ個のサンプルデータを横に並べたものを (m<n)とし、Pを単位主成分を横に並べたもの とし、YをXの主成分とすると、 である。 特異値分解定理により、Xは何らかの正規直交行列U,Vと、m行m列部分が対角行列でそれ以外が0である行列Σによって、 と分解される。それを応用すると、 ...(1) が成り立つ。XXTはm×mの正方行列なので、ΣΣTもm×mの正方行列であり、 ...(2) と置くことができる。（σ1≧σ2≧...≧σmである） 前項に書いたように、Yの共分散行列は であり、従って であり、Cov(Y)はCov(X)の固有値を対

[shu_ohm1]

主成分分析と特異値分解 (SVD)