最急降下法最急降下法 戻る ニューラル関連の学習則は，この方法を使っていることが多い．バックプロパゲーションだって最急降下法だし，ホップフィールドモデルだって最急降下法を使ってる． エネルギー関数最小化（または最大化）を目的とする問題では，パラメータ逐次更新の方法として最急降下法を使うのが常套手段だ．理屈さえ分かれば，それほど難しい話ではないからね． 最急降下法： まず最小化（または最大化）すべき基準となる，ある関数が与えられているとする．この関数を最小化（または最大化）するようなを求めるのが目的なのだが，まずに適当な初期値を与え，次のような方法でを逐次更新していく． （を最小化する場合） （を最大化する場合） ここでは 1 より小さな正の値とする． で，なんでこの方法で関数を最小化（または最大化）できるのかというと，図で説明するとこんな感じになる（最小化に関して説明する）．
