Geluは以上のように定義されます。 ここで$\Phi (x)$は正規分布(ガウス分布)の累積分布関数です。$erf()$は誤差関数です。 これが理想的な関数ですが一般に誤差関数は初等関数で計算できないので近似が行われます。 このGelu、およびGeluの近似をプロットしてみて、relu関数との差分を考えてみます。 ここでGelu idealとGelu approximate 1は大体等しいです。 一方、Gelu approximate 2はGelu idealと若干誤差があることが分かります。 ここで$\beta = 1.702$のSwish関数はGelu approximate 2と等価であることが分かります。 従ってGeluが有利である理由を掴めれば、それがSwishが有利な理由になります。 なお、この論文中ではβ=1のSwish関数はSiLUと呼称しています。 ただし$\beta
![活性化関数Geluに関して - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/1770e24005c80f0f500fa63b2adf2bac46e5a5a4/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JUI0JUJCJUU2JTgwJUE3JUU1JThDJTk2JUU5JTk2JUEyJUU2JTk1JUIwR2VsdSVFMyU4MSVBQiVFOSU5NiVBMiVFMyU4MSU5NyVFMyU4MSVBNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NmRmZDkxM2VhMDQ1NGQ2NTEzNjdjYmI1NGRlNGIyMGY%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBuaXNoaWhhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mNDZlN2MxYmY3YjNkMGI1OGU3YWQ1M2VhYWM1NTlkNQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Deb17d510b8fa5497c92db5f8dc9fdad7)