線形の活性化関数はなぜだめか/ニューラルネットワーク - たれぱんのびぼーろくQ. ニューラルネットワークにおいて活性化関数はなぜ非線形であるのか？ A. 線形の活性化関数では非線形分離できないから。 ニューラルネットワークの隠れ層では活性化関数としてシグモイド関数などの非線形関数が用いられる。 その理由は、「線形関数を活性化関数に用いると中間層/隠れ層があっても単純パーセプトロンとできることが同じ」だから。 つまり線形活性化関数を用いたニューラルネットワークは、隠れ層のないニューラルネット(≒単純パーセプトロン)と同値である。 証明 したいんだけど数式の打ち方がわからぬ。ググったがTeXはかけない、めんどくさい。 簡単な例として"10層ニューラルネットワーク"を考える。 第2,3,4層の出力ベクトルをa2,a3,a4とする。 2層から3層への変換行列をW3,biasをb3、3層から4層への変換行列をW4,biasをb4とする。 また活性化関数はベクトルを引数にとり
