PRML(12章)のまとめです. 観測値 $\{x_n\}_{n=1}^N\subset \mathbf{R}^D$ があるとき,$u_1\in\mathbf{R}^D$への観測値の射影が最大になるような $u_1\in\mathbf{R}^D$ を探すことを考えます. $u_1$ は観測値 $\{x_n\}_{n=1}^N$ の一番の【特徴】を表す方向であると考えられます.極端な例でいうと,$u_1$ 方向に射影したとき観測値がすべて一点に集約されてしまっては,観測値の持っている情報は無くなってしまうと考えられます.そこで射影したときに射影した観測値の分散が最大になる方向は,射影したときの観測値の情報を最大限保持する方向であると考えられます. $u_1$だけでなく,$u_2,\ldots, u_M$まで同様に考えて,$D$次元の観測値$\{x_n\}_{n=1}^N\subset \ma