DNNの基礎知識についてのまとめ - Deep Learning 脱初心者めざして深層ニューラルネットの訓練 今回は、深層ニューラルネットワーク(以下DNN)の問題点を挙げ、その解決法を示します。 深層ニューラルネットの訓練 勾配消失/爆発問題 勾配消失 勾配爆発 Xavierの初期値とHeの初期値 活性化関数 バッチ正規化 勾配クリッピング プレトレーニング済み層の再利用 転移学習 model zoo オプティマイザの高速化 Momentum最適化 NAG(Nesterov Accelerated Gradient) AdaGrad RMSProp Adam(adaptive momentum estimation) 学習スケジュール 正則化による過学習の防止 早期打ち切り l1, l2正則化 ドロップアウト データ拡張 実践的なガイドライン 勾配消失/爆発問題 勾配消失 勾配降下法による更新では下位層の接続の重みがほとんど変わらず、訓練が良い解に収束しなくなること
