DNNの基礎知識についてのまとめ - Deep Learning 脱初心者めざして
深層ニューラルネットの訓練 今回は、深層ニューラルネットワーク(以下DNN)の問題点を挙げ、その解決法を示します。 深層ニューラルネットの訓練 勾配消失/爆発問題 勾配消失 勾配爆発 Xavierの初期値とHeの初期値 活性化関数 バッチ正規化 勾配クリッピング プレトレーニング済み層の再利用 転移学習 model zoo オプティマイザの高速化 Momentum最適化 NAG(Nesterov Accelerated Gradient) AdaGrad RMSProp Adam(adaptive momentum estimation) 学習スケジュール 正則化による過学習の防止 早期打ち切り l1, l2正則化 ドロップアウト データ拡張 実践的なガイドライン 勾配消失/爆発問題 勾配消失 勾配降下法による更新では下位層の接続の重みがほとんど変わらず、訓練が良い解に収束しなくなること
勾配消失問題と勾配爆発問題～原因と解決策～ | マサムネの部屋
パラメーター\( W_0 , W_1 , W_2 \)に注目してみます。 それぞれの行列の次元は、\( W_0 \)がデータ数×データ数 , \( W_1 \)が16×データ数 , [mathjax]\( W_2 \)が16×1 です。 パラメーターが行列なので、勾配も行列で出てきます。\( L^2\)ノルムを使って勾配の大きさを評価しましょう。ベクトルや行列の[mathjax]\(L^2\) ノルムは以下の式で定義されます。 $$\begin{eqnarray} \| X \|_{L^2} =\sum_{i,j} x_{ij} ^2 \end{eqnarray}$$ 50回パラメーターの更新を行います。勾配はL2ノルムで評価し、パラメーターは行列の要素を一つ決めて、どのように更新されていくか調べます。 \( W_0\) が10回の更新を待たない間にほぼ定数になっています。一度落ち着いてか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ニューラルネットワークと深層学習
