1.この記事で分かる事 活性化関数とは よく出てくる活性化関数の数式及びその特徴や使用目的と、Pythonによるスクラッチ実装 ステップ関数 シグモイド関数 ソフトマックス関数 tanh関数 ReLU関数 2.活性化関数とは 活性化関数の特徴は、①非線形な関数で、②微分可能な関数という事が特徴。 ①については、NN内において非線形な変換を行うため。 ②については、勾配計算の際に微分可能である必要がある。 3.よく出てくる活性化関数 ステップ関数(階段回数) 特徴 標準形 step(x)=\left\{\begin{array}{l1} 1&(a \geq 0)\\ 0&(a \lt 0) \end{array}\right.\\ 閾値(上記のコードではa)以上なら1 閾値未満なら0という非常にシンプルな関数 閾値 aはハイパーパラメータ 深層学習における問題点 微分できない 閾値を超えない
![深層学習を学ぶ - 活性化関数編 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/34de4f7e582ac8ce821207ca39dfd26b76a6f69e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUU2JUI3JUIxJUU1JUIxJUE0JUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgyJTkyJUU1JUFEJUE2JUUzJTgxJUI2JTIwLSUyMCVFNiVCNCVCQiVFNiU4MCVBNyVFNSU4QyU5NiVFOSU5NiVBMiVFNiU5NSVCMCVFNyVCNyVBOCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmZkZjdiOGYzOWExODNkYzVmNjIyMjBkM2Q2MjU3MTc%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwcmFpYm5tJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01NzRhZDE3NGYyYzdlYThiZTczOWRhNjU4NGE2YjQ0Mg%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Defbd340f73bc67d57ced25f172d33ee9)