これは過去2〜3年で非常に普及しました。最近Tanh関数とのコンバージェンスが 6倍改善されていることが証明されました。 機械学習とコンピュータサイエンスでは、最もシンプルで一貫性のあるテクニックと方法が優先され、最良の方法であることに気付きました。したがって、消失勾配の問題を回避し、修正する。ほとんどすべての深い学習モデルは現在 ReLuを使用しています。 しかし、その限界は、ニューラルネットワークモデルの隠れ層内でのみ使用すべきであるということです。 したがって、出力層では、Classification問題にSoftmax関数を使用してクラスの確率を計算し、回帰問題に対しては単純に線形関数を使用する必要があります。 ReLuのもう1つの問題は、勾配がトレーニング中に壊れやすく、死ぬことがあるということです。それは、いかなるデータポイントでも再び活性化されないようにする、ウエイトの更新を
![活性化関数のSigmoid、Tangent 、ReLu、Leaky ReLuの違い - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e1fd97192a4b72f9a5779d898401c8879081db8/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUU2JUI0JUJCJUU2JTgwJUE3JUU1JThDJTk2JUU5JTk2JUEyJUU2JTk1JUIwJUUzJTgxJUFFU2lnbW9pZCVFMyU4MCU4MVRhbmdlbnQlMjAlRTMlODAlODFSZUx1JUUzJTgwJTgxTGVha3klMjBSZUx1JUUzJTgxJUFFJUU5JTgxJTk1JUUzJTgxJTg0JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02YzlhZjY4NDk0NGM4ZTUyZmI5NjYyMDYyNzIzMWZjZA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbWl5YW1vdG9rMDEwNSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OWMzZDljOTk3MjBhYzlhYzQ5N2QzNzlmZDJjMWZhYTI%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D7dfaa529db2239d4e9690e19f12d8b5f)