ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成DeepLearningPyTorch活性化関数誤差逆伝播法ED法 追記 ELUとの比較を追加しました、金子さんのアイデアの凄さが明確に結果に出ています。 また最後にニューロンが正・負どちらに発火しているのか可視化したチャートも追加しました。 初めに 誤差逆伝播法を用いずに、興奮性・抑制性ニューロンの出力を調整することでニューラルネットワークの学習を進める金子さんの誤差拡散法はとても衝撃的でした。 しかし、誤差拡散法は現在広く使用されているニューラルネットワークのアーキテクチャとは互換性がないため、 今すでに利用されているニューラルネットワークに興奮性、抑制性ニューロンのアイデアを直接反映できません。 そのため、今の誤差逆伝播法の範囲内
![ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/4958f1bc3317fba9c4f2da160293a293229b69f7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9RUQlRTYlQjMlOTUlRTMlODElQTgzJUU1JTgwJUE0JTI4JTJCMSUyQy0xJTJDMCUyOSVFMyU4MSVBRSVFMyU4MiVBMiVFMyU4MiVBNCVFMyU4MyU4NyVFMyU4MiVBMiVFMyU4MiU5MiVFNSU4NSU4MyVFMyU4MSVBQiVFNiU5NiVCMCVFMyU4MSU5NyVFMyU4MSU4NCVFNiVCNCVCQiVFNiU4MCVBNyVFNSU4QyU5NiVFOSU5NiVBMiVFNiU5NSVCMCUyOEV4UDIlMjklRTMlODIlOTIlRTQlQkQlOUMlRTMlODElQTMlRTMlODElQTZHRUxVJUUzJTgwJTgxRUxVJUUzJTgxJUE4JUU2JTgwJUE3JUU4JTgzJUJEJUU2JUFGJTk0JUU4JUJDJTgzJUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJUUzJTgwJTgyTUlOSVNUJUUyJTgwJUE2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1kMzJjNGY5YTBkNGQ4YzBmN2ZjMGMzOWY2MmE2MDk4Ng%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5YXN1a2lrdWRhbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZTQwNzQyYWE5YjdhODBlYTRmZjJmZWU2ZmFiZWU0MmE%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dcb3c432da73878b0bba678ffea478802)