多項式回帰で重回帰分析やってみた - Qiita

単回帰と重回帰 単回帰…一つの入力データを使って、ある値を予測しようとする手法。 ex)身長のデータを使って体重を予測。 y=w₀+w₁X 重回帰…二つ以上の入力データを使って、ある値を予測しようとする手法。 ex)身長、ウエスト、体脂肪…を使って、体重を予測。 y=w₀+w₁x₁+w₂x₂+w₃x₃+… 多項式回帰による例 今、下図のようなデータを回帰したい。しかし、明らかに直線では表現できない形だ。 多項式回帰によって回帰を試みる。 多項式回帰…重回帰分析の一種。入力データxに加えてx^2,x^3…を新たな入力データとして加える。 最小二乗法は万能ではない 最小二乗法はモデルが複雑化しやすいアルゴリズム。 学習不足・過学習という問題 学習不足…訓練データを十分に表現できていない状況。損失関数が高いまま。 過学習(過剰適合)…訓練データに過度に適合している状況。汎化性能が低くなっている。