なぜ最小二乗法なのか 〜線形回帰分析での推定〜

どうも！ Atraeのデータサイエンティスト（ワナビ）の杉山です！ 今日は、先日社内の勉強会で話題になった「なぜ最小二乗法なのか」についてまとめます。 回帰分析の話で話題になったのですが、回帰分析の説明するには余白が足りないので、それはこちらに譲ります！ 回帰分析自体についてはこちら→単回帰分析とは | データ分析基礎知識 ※二乗と2乗で表記が揺れまくりますが、許してください、なんでもしますから！ 簡単のため、単回帰分析の場合で考えます。 2種の変量$x, y$に対して、データ$x_i, y_i \, (1 \leq i \leq N)$があったとします。 $y = ax + b$の式を用いて回帰分析をかけるとしましょう。 ここでやりたいのは、何らかの基準で、最も良い$a, b$を選ぶことです。 （こんご、選ばれた$a, b$のことを$\hat{a}, \hat{b}$と書くことにします。

[matsui]

“絶対値が含まれる関数の最小化はホントマジでヤバイ。”

[yukirelax]

“絶対値が含まれる関数の最小化はホントマジでヤバイ”