活性化関数を特徴空間で見てみた【ニューラルネット基本の基本】 - HELLO CYBERNETICS

はじめに 特徴空間でデータの変換を見る データの準備 行列で変換してみる シグモイド活性化関数を通してみる ReLU活性化関数を通してみる 多層のパーセプトロン ReLUを用いた2層のパーセプトロンにしてみる 誤差逆伝搬法 はじめに 活性化関数のグラフを$y=f(x)$のグラフとして見るのはよくやることです。私のブログでも以下の記事でそれを取り扱っています。 www.hellocybernetics.tech ところで、ニューラルネットワークと言えば、 $$ z = Wx $$ という線形変換と、適当な非線形の活性化関数を用いて $$ y = f(z) $$ を組み合わせて使います。もしも活性化関数を使わずに、単に線形変換を何度もするだけでは多層にする意味が無くなってしまうからです。 $$ y = W_5W_4W_3W_2W_1x $$ なんてものを考えてみたって、$W=W_5W_4W_3