最小二乗法と最尤推定 - biochem_fanのブログ

1年近く下書きに眠っていたのを公開。これは統計的手法を真面目に勉強しはじめて、最初に「面白いな」と思った事柄だから、思い出深い。最小二乗法という昔から知っていた手法が、最尤推定という自分にとって目新しい知識とつながる体験は快かった。 回帰とは、モデルからの予測値と実測値のズレ(誤差, 残差)を最小化するようにフィッティングすることである。 具体的にいうと、説明変数(独立変数ともいう)の列があって、目的変数の列が対応している。我々はモデル f(x) を用意して、モデルからの予測値、すなわちモデルに説明変数を突っ込んだ時の出力 がなるべくに近くなるようにしたいのである。 モデルといっても、その範囲は広い。極論すれば、 に対して を返すような関数も立派なモデルである。しかしそれは実用上何の訳にも立たないので、多くの場合は、より少ないパラメータ によって調節可能なモデル を考えるのである。いくつの