はてなブックマーク

最近の機械学習ではとりあえず何か困ればreluで対処...みたいなことも感じられなくもないですが、このreluいわゆるランプ関数といわれるものは、なぜ勾配消失問題の解決策となったのかを数式を使って考えてみたのでまとめて残しておきたいと思います。 1. 勾配計算前の準備 - 変数の定義をする 上記のような多層ニューラルネットワークを考えます。基本的に以下で使用する変数は上図内部に示しておきました。では以下に順方向の出力を求めるための式を並べていきます。 まず入力は とし、hidden1の出力は と計算します。よってはJ×1行列です。以降ではとして計算を簡略化します。 ここではK×1行列です。以降ではとして計算を簡略化します。 そして最後に出力層ですがソフトマックス関数を使用した場合、出力をとして以下のようになります。 ここまでで出力が求められました。 2. 誤差関数からパラメータ更新量を求め