論文紹介: Adding One Neuron Can Eliminate All Bad Local Minima - Qiita

tl; dr Liang et al., 2018. Adding One Neuron Can Eliminate All Bad Local Minima. NIPS. ある前提条件を満たすニューラルネットワークに、ある特殊なニューロン (exponential neuron) を1つ加えると、そのニューラルネットワークの局所解は大域最適な解になる 前提条件: 二値分類問題 特殊な損失関数（Cross entropyなどはダメ） Exponential neuron: $a \exp(\mathbf{w}^Tx + b)$ を入力から出力層へのskip connectionとして追加 提案手法を数学的に証明（実験はなし） 大域最適な解の汎化性、提案手法を導入したことによる局所解に至るまでの時間の変化については議論していないので注意。 @incollection{NIPS2018_768

[Nyoho]

"ある前提条件を満たすニューラルネットワークに、ある特殊なニューロン (exponential neuron) を1つ加えると、そのニューラルネットワークの局所解は大域最適な解になる" マジかよ