深層学習を学ぶ - 活性化関数編 - Qiita1.この記事で分かる事 活性化関数とは よく出てくる活性化関数の数式及びその特徴や使用目的と、Pythonによるスクラッチ実装 ステップ関数 シグモイド関数 ソフトマックス関数 tanh関数 ReLU関数 2.活性化関数とは 活性化関数の特徴は、①非線形な関数で、②微分可能な関数という事が特徴。 ①については、NN内において非線形な変換を行うため。 ②については、勾配計算の際に微分可能である必要がある。 3.よく出てくる活性化関数 ステップ関数(階段回数) 特徴 標準形 step(x)=\left\{\begin{array}{l1} 1&(a \geq 0)\\ 0&(a \lt 0) \end{array}\right.\\ 閾値(上記のコードではa)以上なら１ 閾値未満なら０という非常にシンプルな関数 閾値 aはハイパーパラメータ 深層学習における問題点 微分できない 閾値を超えない
