![](https://cdn-ak-scissors.b.st-hatena.com/image/square/6483df90534f4b14a335a78bd5634c5cce2ae019/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JUUzJTgzJUE5JUUzJTgzJTkzJUUzJTgzJTgzJUUzJTgzJTg4JUUzJTgzJTgxJUUzJTgzJUEzJUUzJTgzJUFDJUUzJTgzJUIzJUUzJTgyJUI4JTIwJUU2JUI3JUIxJUU1JUIxJUE0JUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgwJTgwMkRheSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MzRiYTlhNzBiZTViYTdjMjZhY2M1MDY2OTc5ODJhZGQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaHJ1YyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODFkYWMwMzUzYjZjOTgwMGQ4YmE1MGU1YmMxMzg5NDY%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D6676b1c3c2d7e46d62a5673dcc91db4a)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ラビットチャレンジ 深層学習 2Day - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
ラビットチャレンジ 深層学習 2Day - Qiita
Section1 勾配消失問題 誤差逆伝播法で下位層に進んでいくにつれて 勾配がどんどん緩やかになっていく ... Section1 勾配消失問題 誤差逆伝播法で下位層に進んでいくにつれて 勾配がどんどん緩やかになっていく そのため、勾配降下法による、更新では下位層のパラメータは ほとんど変わらず訓練は最適地に収束しなくなる 活性化関数 シグモイド関数 大きな値では出力が微小なため、勾配消失問題を引き起こす可能性がある シグモイド関数の微分の最大値は0.25でありこれをかけていくことになるので勾配が0に近いていくことがわかる ReLU 勾配消失問題の回避に関してよい成果をもたらしている ある閾値を超えたらそのままの値を返す関数なので勾配消失が起きにくい スパース化という観点でもメリットがある 精度の面でも担保されている 初期値の設定方法 Xavierの初期値を設定する際の活性化関数 relu シグモイド 双曲線正接関数 重みの要素を前の層のノード数の平方根で除算した値 self.params['W1']