［活性化関数］Mish関数（ミッシュ関数）とは？

用語「Mish関数」について説明。「0」を基点として、入力値が0以下なら出力値は「ほぼ0」だが（わずかに「負の値」になる）、0より上なら「入力値とほぼ同じ値」を返す、ニューラルネットワークの活性化関数を指す。類似するReLUやSwish関数の代替として使われる。 連載目次 用語解説 AI／機械学習のニューラルネットワークにおけるMish関数（ミッシュ関数）とは、関数への入力値が0以下の場合には出力値がほぼ0（※わずかに負の値になり、最小値は約-0.31）、入力値が0より上の場合には出力値が入力値とほぼ同じ値（最大値は∞）となる関数である。 図1を見ると分かるように、ReLUという活性化関数に似ている曲線を描く（＝ReLUをMish関数に置き換えやすい）が、その曲線が連続的で滑らか（smooth）かつ非単調（non-monotonic）である点が異なる。基点として(0, 0)を通るが、滑らか

[quabbin]

x * tanh(ln(1 + e^x)) かな。Swishとの違いがあまり感じれないが…。むー。論文確認中

[misshiki]

ReLUやSwish関数をライバル視していて、その地位の置き換えを狙っているっぽい。