局所解への収束バックプロパゲーションは多くの問題に適用できる優れた学習アルゴリズムですが、 いくつかの問題点も知られています。 代表的な問題として、局所解への収束問題があります。 単純パーセプトロンには収束定理という定理があり、 学習可能な問題であれば、必ず最適な状態(全て正しく学習)に収束することが 保証されていました。 しかし、バックプロパゲーションにはそのような保証は全くありません。 したがって、誤差の減少が収束したとしても、 その状態が最適であるかどうかは分かりません。 むしろ、局所的な解に収束してしまうことが珍しくありません。 このような現象はなぜ生じるのでしょうか。 バックプロパゲーションは、数学的には最急降下法と呼ばれるタイプの手法です。 下図にその概念を示します。 横軸に結合荷重の値、縦軸にネットワークの出力誤差をとります。 説明を単純にするために結合荷重を一次元にしましたが、 次元数は
