分類問題における新たな活性化関数「Gumbel-Softmax」 - HELLO CYBERNETICS

メモ用記事 Gumbel Softmaxの論文 活性化関数 中間層の活性化関数 出力層での活性化関数 良いらしい Gumbel Softmaxの論文 論文は以下にあります。 [1611.01144] Categorical Reparameterization with Gumbel-Softmax 活性化関数 中間層の活性化関数 中間層での活性化関数は、通常はシグモイド関数やReLUなどが用いられます。 中間層での活性化関数は基本的に好きなものを用いればよく、データをよく表現できれば何でも良いです。言い換えれば、これが良いというものを決めることは難しいです。 通常はReLUが高精度を達成できると言われています（暗にスパース性を持たせることができる）。 出力層での活性化関数 出力層での活性化関数は、問題に応じてある程度決められています。 回帰ならば恒等写像 1ユニットを用いた二値分類ならば