エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ラビットチャレンジレポート4 深層学習Day2 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
ラビットチャレンジレポート4 深層学習Day2 - Qiita
1. 勾配消失問題 1.1 要約 誤差逆伝搬法が下位層に進んでいくに連れて、勾配が緩やかになっていく。 そ... 1. 勾配消失問題 1.1 要約 誤差逆伝搬法が下位層に進んでいくに連れて、勾配が緩やかになっていく。 そのため、勾配降下法による更新では下位層のパラメータはほとんど変わらず、 最適値に収束しなくなる。 解決方法として 活性化関数の選択 重みの初期値設定 バッチ正規化 活性化関数の選択 ReLU関数は、勾配喪失問題の回避に貢献することで良い結果をもたらしている。 重みの初期値設定 Xavier ReLU関数、シグモイド関数、双曲線正接関数 重みの要素を、前の層のノード数の平方根で除算した値 He ReLU関数 重みの要素を、前の層のノード数の平方根で除算した値に対し、$\sqrt{2}$を掛け合わせた値 バッチ正規化 ミニバッチ単位で入力値のデータの偏りを抑制する手法 \mu_{\beta}=\frac{1}{m}\sum_{i=1}^mx_i\\ \sigma^2_{B}=\frac{1