相関係数、最小二乗法、LARSの幾何学的解釈 - データサイエンティスト上がりのDX参謀・起業家統計の数式、特に基本的な概念はベクトルとして考えてイメージするとスマートに解釈できる事が多いです。 まずは相関係数。 いきなりですが、相関係数は以下のように式展開するとcosθになります。 簡便のため、ベクトルxとyの平均は0と仮定します。 このxとyをいくつかのパターンで幾何学的に表現すると次のようになります。 yとそれぞれのxとの関連は以下のようになります（θ2=30°とします）。 角度 相関係数、cosθ x1 0 1 x2 30 0.86 x3 90 0 x4 150 -0.86 x5 180 -1 こんな感じで、無相関ってのはベクトルで考えると直交しているってことなんですね。 次に最小二乗法をベクトルで解釈します。 最小二乗法は文字通り、二乗和を最小にする方法です。 幾何学的には、(y-βx)のベクトルの長さを最小にするβを求めるということです。 βxはベクトルxを伸ばしたベクト
