【ラビットチャレンジ（E資格）】深層学習（day2） - Qiita

はじめに 2021/2/19・20に実施される日本ディープラーニング協会(JDLA)Ｅ資格合格を目指して、ラビットチャレンジを受講した際の学習記録です。 科目一覧 応用数学 機械学習 深層学習（day1） 深層学習（day2） 深層学習（day3） 深層学習（day4） Section1：勾配消失問題 誤差逆伝播法が下位層に進んでいくにつれて、勾配がどんどん緩やかになっていく。 そのため、勾配降下法による更新では下位層のパラメータはほとんど変わらず、訓練は最適値に収束しなくなる。 勾配消失の解決方法 活性化関数の選択 ReLU関数 $$ f(x) = \left\{ \begin{array} \ x & (x > 0) \ 0 & (x \leq 0) \ \end{array} \right. $$ 勾配消失問題の回避とスパース化に貢献することで良い成果をもたらしている。 重みの初期値