回帰直線と射影 説明が明確で、分かりやすいストラング:線形代数イントロダクションは、線形代数の入門書として多くの人に支持されています。しかし、ハードルもあります。理解に多くに時間を費やしてしまうこともあります。その一つが、4.3の最小二乗法です。最小二乗法そのものは難しいものではありません。回帰直線を求めるのに最初に習うのが最小二乗法です。誤差を最小にするように回帰係数を決めましょうということなので、なんら難しさはありません。しかし、これを射影と合わせて理解しようとすると、それはやさしいことではありません。それは図4.6を見ればわかります。 左の図は回帰直線を幾何的に説明した図で、右側は線形代数的に表現したものです。ここでは時間の経過$t$を0,1,2としています。また、その観測値$\mathbf{b}$を6,0,0としています。これを $\mathbf{b}=C+Dt$ という式で当ては