エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
活性化関数を色々いじってみる - Qiita
前回、前々回と、ニューラルネットの挙動を理解するために色々アニメーションを作ってきました。 今回は... 前回、前々回と、ニューラルネットの挙動を理解するために色々アニメーションを作ってきました。 今回は、前回の検討に引き続き、ニューラルネットワークの中で非線形的な挙動を生み出す活性化関数について、面白い活性化関数がないか考察をしてみたいと思います。 活性化関数とは ニューラルネットワークは、各隠れ層において「接続層での線形変換」に加えて、「活性化関数による非線形変換」を実施するネットワークになります。 もし活性化関数による非線形変換がない場合は、いくら隠れ層を増やしても表現力が増えません。(複数層の線形変換を1層の線形変換で表現できてしまう)よって、複雑な表現を手に入れるためには、活性化関数による非線形変換が重要なステップとなります。 活性化関数としてどのような関数であるべきかについては、下記のような要件が必要条件になるかと思います。 非線形であること 計算機で扱いやすい値を取ること(オーバ