(追記)活性化関数が学習に及ぼす影響 下記記事にて実験&解説を実施。興味があれば是非。 【ReLU, PReLU, シグモイド etc...】ニューラルネットでよく使う活性化関数の効果をKerasで調べてみた ReLUの良さ $\max(0,x)$は単純ゆえに早い 0を作る→スパース性につながる $x>0$の部分では微分値が常に1であるため勾配消失の心配はない ReLUが活性化関数になれる理由 折れ線のようなグラフで近似ができる wikipediaの最後に,$y=x^2$の近似が載ってる wikipedia 活性化関数
![活性化関数ReLUについてとReLU一族【追記あり】 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8b7be444fa6a4cd4a98eb8f4e4b9afa4d1a3b846/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUU2JUI0JUJCJUU2JTgwJUE3JUU1JThDJTk2JUU5JTk2JUEyJUU2JTk1JUIwUmVMVSVFMyU4MSVBQiVFMyU4MSVBNCVFMyU4MSU4NCVFMyU4MSVBNiVFMyU4MSVBOFJlTFUlRTQlQjglODAlRTYlOTclOEYlRTMlODAlOTAlRTglQkYlQkQlRTglQTglOTglRTMlODElODIlRTMlODIlOEElRTMlODAlOTEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTMwZDI3ZWY5ZmFmZjQ5MWNiNjg3N2JkNDQ1Y2VjNGFk%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaG9rZWtpeW9vJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz05NTkzYTZhY2UwMDMzYjYyNTUyZDYzODE0MmViYzVkOQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0298f7f15a1845e2f6de0d8d044edd53)