非線形な活性関数がもたらす恩恵

ホーム < ゲームつくろー！ < IKD備忘録 VisualStudio + Pythonでディープラーニング 非線形な活性関数がもたらす恩恵 (2019. 12. 17) 「Kerasの活性化関数を知ろう」で色々な活性化関数を見てきました。一通りグラフも示しましたので入力される値に対してどういう反応を示すかイメージもできるかなと思います。所で、その活性化関数はlinear以外は曲線だったり折れ曲がったりしていました。そういう線形以外の関数（不連続のも含む）の事を「非線形関数」と言います。真っすぐじゃないから非まっすぐ、という事です。これら活性化関数の形を見ていると色々と疑問が湧いてきます： なぜ非線形関数がこんなに沢山用意されているのか？ なぜみんな単調増加なのか？ 非線形関数と線形関数で結果にどう影響するのか？ そこでニューラルネットワークに非線形活性化関数を使うとどういう恩恵が生じる

[YassLab]

"要因が何百、何千もあるとどうでしょう。線形分離できる事はまず無い。でも複雑に干渉し合う要因から出てくる出力を上手に分離できる手法が欲しい。なのでモデルが非線形分離出来るポテンシャルを持つのが重要"