かつてJR横浜線 十日市場駅近くのMebius (CPU:Pentium 150MHz)より発信していたウェブログです。 前項に書いた通り、主成分分析における主成分の単位ベクトルは、共分散行列の固有ベクトルとして求まる。そのこと自体に昔から興味があったので、主成分分析の復習ついでに考察してみる。 まず、最小2乗法で考えてみる。簡単のために2次元で考える。n個のサンプルデータを とし、第1主成分の単位ベクトルを とすると、Xに対応する主成分軸上の第1主成分Yは であり、そのYを元の座標系に戻したものX~は である。このことは、高校で習った一次変換を思い出してやってみるとわかる。このX~が、Xを第1主成分の軸上に射影したものであり、これとXとの距離が、最小にしたい誤差ということになる。その誤差Eを、Xを直交座標とした場合の距離の2乗とすると、 であり、p12+p22=1に注意すると、これは と
![統計学復習メモ10: なぜ共分散行列の固有ベクトルが単位主成分なのか - Weblog on mebius.tokaichiba.jp](https://cdn-ak-scissors.b.st-hatena.com/image/square/eaea4f1ab483b3a5c040320219c637342892ba2c/height=288;version=1;width=512/http%3A%2F%2Fynomura.dip.jp%2Fmt-static%2Fsupport%2Ftheme_static%2Frainier%2Fimg%2Fsiteicon-sample.png)