(追記)活性化関数が学習に及ぼす影響 下記記事にて実験&解説を実施。興味があれば是非。 【ReLU, PReLU, シグモイド etc...】ニューラルネットでよく使う活性化関数の効果をKerasで調べてみた ReLUの良さ $\max(0,x)$は単純ゆえに早い 0を作る→スパース性につながる $x>0$の部分では微分値が常に1であるため勾配消失の心配はない ReLUが活性化関数になれる理由 折れ線のようなグラフで近似ができる wikipediaの最後に,$y=x^2$の近似が載ってる wikipedia 活性化関数