線形の活性化関数はなぜだめか/ニューラルネットワーク - たれぱんのびぼーろく
Q. ニューラルネットワークにおいて活性化関数はなぜ非線形であるのか？ A. 線形の活性化関数では非線形分離できないから。 ニューラルネットワークの隠れ層では活性化関数としてシグモイド関数などの非線形関数が用いられる。 その理由は、「線形関数を活性化関数に用いると中間層/隠れ層があっても単純パーセプトロンとできることが同じ」だから。 つまり線形活性化関数を用いたニューラルネットワークは、隠れ層のないニューラルネット(≒単純パーセプトロン)と同値である。 証明 したいんだけど数式の打ち方がわからぬ。ググったがTeXはかけない、めんどくさい。 簡単な例として"10層ニューラルネットワーク"を考える。 第2,3,4層の出力ベクトルをa2,a3,a4とする。 2層から3層への変換行列をW3,biasをb3、3層から4層への変換行列をW4,biasをb4とする。 また活性化関数はベクトルを引数にとり
深層学習の非常に簡単な説明
「『内積』を知っている人に，深層学習の中身がだいたいわかってもらう」ことを目指しています．これぐらいをスタートに，理解を深めていけばいいのではないかと思いました．ちなみに学習（例えばback propagationあたりの）の部分については，特に触れていません．それ以前の基本の部分です． (2017.1.28, 少々補足スライドをいれて，初学者向けにさらにわかりやすくしたつもりです．) なお，ここで出てくる数式は，せいぜい足し算と掛け算ぐらいです．Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
