ニューラルネットワークの学習の工夫 - HELLO CYBERNETICS

はじめに 伝統的な学習の工夫 正規化、標準化、無相関化、白色化 正規化 標準化 無相関化 白色化 正則化 正則化 正則化 elastic net 伝統的な工夫について ニューラルネットワークの学習の工夫 バッチ正規化 ドロップアウト ノイズ混入 勾配ノイズ ニューラルネットの学習の工夫 はじめに 従来の機械学習手法では、なるべく入力と出力の関係を人手で明らかにすることで、妥当なモデルを準備してきました。更に入力データも、学習にとって重要なもののみを抽出することで、効率性を高めてきました。 一方でニューラルネットワークは入力と出力の間に複雑なモデルを仮定し、その複雑なモデルを学習により上手く調整することで回帰や分類を行います。 このような背景から、ニューラルネットを従来の手法と同じように学習させるのでは上手く行かないことが分かります。人手で抽出しなければいけなかった情報や、適切に設計しなけれ