対象者 活性化関数について、どんなものがあるのかまとめました。 最新のSwishとMish、さらにtanhExpも載せています！ 一覧探してもなかなか良いの見つからないな〜という層をターゲットにしてます。 新しいのは見つけ次第追加します。 新しい関数の情報や、下記のTODOリストにある関数の情報をお持ちの方はぜひ教えてください！ 勾配降下法もこちらでまとめています。 何かの役に立てばぜひLGTMやストック、コメントしていただけると励みになります！ 更新履歴(2020/9/22~) 2020/9/22 softmax関数の微分の修正 softmin関数の微分の訂正とグラフの差し替え logSoftmax関数の微分の訂正 バッチ法、ミニバッチ法に対応したコードに差し替え メモリを犠牲に計算回数を削減する工夫をしてみました。有効かは未検証です。 2020/9/23 効果がほぼなかったので修正 2