Optimal Brain Surgeon

汎化性を確保するためには、課題の複雑さと利用可能なサンプルの数にマッチ するようにネットワークの大きさを決めることが重要である。そこで、学習結 果に応じてネットワークの大きさを変化させる方法もいくつか提案されている。 小さなネットワークからはじめて、徐々にネットワークを大きくするような方 法としては、例えば、Fahlman らの Cascade Correlation[35]、 the Group Method of Data Handinig (GMDH) に基づくもの [36,37,38]などがある。 一方、大きなネットワークから不要な(冗長な)結合荷重を徐々に取り除いて、 問題のサイズにマッチしたネットワークを構成する方法は、Pruning と呼ばれ、 いくつかの方法が提案されている。そのための最も直観的な方法は、結合荷重 の絶対値が小さい結合荷重を削除する方法である。しかし、結合荷

[satojkovic]

pruning