誤差の二乗を最小にする理由

[1] 厳密な話ならばANo.1の通りです。 最小二乗法が厳密な意味でモデルのパラメータの最尤推定法になるためには、以下の前提が必要です。 (1) 誤差、すなわち測定値y[i]と真値y0[i]の差 ε[i] = (y[i]-y0[i]) は平均0、分散(σ[i])^2の正規分布 N(0, (σ[i])^2)に従う。ただし、 σ[i] = s[i] σ0 で、σ0は未知でも良いが、s[i]は既知である。 (2) 各測定は互いに独立で、それぞれの誤差の共分散は0である。 (3) パラメータのベクトルxを含む既知のモデルM(x,i)があって、真値y0[i]について、あるパラメータx0が存在して、 M(x0,i)=y0[i] である。 つまり、正解のx0を使って計算した残差y[i]-M(x0,i)は、正規分布 N(0, (σ[i])^2)に従う独立なランダム変数n個それぞれから取ったサンプルになっ