シンプルなＮＮで SeLU と eLU と ReLU を見比べてみる - Qiita

def SeLU(x): alpha = 1.6732632423543772848170429916717 scale = 1.0507009873554804934193349852946 return scale*np.where(x>=0.0, x, alpha*np.exp(x)-alpha) $X=0$ にエッジがあるんですね。 MNIST 300epoch での比較 300 epoch までのテスト画像での正解率の推移 乱数種値は 20170523 で固定 SGD の学習率は 0.001 で固定 LeakyReLU の負側の傾きは 0.01 グラフから読み取ったこと LeakyReLU が 正解率 98.1% で健闘してます。 eLU は ReLU と 同等、LeakyReLUから だいたい 0.1% 位下がる。 負側の傾きの有無の差が 0.1%位の差と出ている様に見える。

[stealthinu]

SeLUとReLUの比較／https://arxiv.org/abs/1511.07289 ではELUとSReLUって言ってるやつにあたる模様。

[Nyoho]

コメントの"SeLUについては他の種々の手法と合わせてNormalizationを行えるということが重要なはずなので、単体での使用はあまり意味が無い気がします"も