Levenberg-Marquardt法（LM法）は非線形最小二乗問題を解く有力なアルゴリズムである．とありますがLM法とは... - Yahoo!知恵袋

Levenberg-Marquardt法ってのは山あり谷ありの関数の谷の底を(=最小値)を見つけるアルゴリズムのこと。 骨子は (a) 関数の微分の微分が零になる場所を探す方法 (b) 二階微分を一回微分の二乗で近似する (Gauss-Newton法) (c) 安定性の向上の工夫を入れる(Levenberg-Marquardt法) というもの。 以下 (a) → (b) → (c) の順で記述する。 関数の最小値を見つけたいんだから、微分をして値が減る方向に進んでいく、というのが簡単な考え方だと思う。 これを最急降下法と呼ぶ。 この方法は関数の形が何であっても確実に値を減じることができるが、とにかく遅い。 然るに関数の形に関する事前知識がある場合に、この情報を積極的に利用できないか、ってのが出発点。 で、Levenberg-Marquardt法の場合は「山あり谷ありの関数」ってのは「(局所

[abrahamcow]

非線形最小二乗法