最小二乗法の公式の導出方法～制御工学の基礎あれこれ～・In English 前提知識 ・分散、共分散とは ・最小二乗法とは ■最小二乗法による単回帰式の導出方法 こちらでも説明した様に、最小二乗法によって求める単回帰式は以下ですが、その導出方法を説明します。 先ず最小二乗法は回帰式との残差の平方和が最小となる様なAとBを求めるので、以下のとおりとなります。 上式をAとBで偏微分します。 (2)式を以下のとおり変形。簡単化のため各項を2で割っています。 となり、Bを求めることが出来ました。yi, xiの積算をnで割ることは平均を意味しているのがポイントです。 次に(1)を以下のとおり変形。こちらも各項を2で割っております。 (3)を上式に代入 となります。分散の公式より、 より、 となり、Aも求めることができました。 ■最小二乗法による重回帰(2変数)式の導出方法 説明変数が2変数(w , x)の場合の公式は以下となります。導出方法の考え方は
