ディープラーニングを実装から学ぶ（8-3）h-swish,TanhExp,Flooding,Nesterov - Qiita

ディープラーニングを実装から学ぶ（8-3）h-swish,TanhExp,Flooding,Nesterov機械学習DeepLearningニューラルネットワーク深層学習 前回以降に試したことを記載していきます。 (1) h-swish(活性化関数) ReLUと同等の性能で、Swishと同等の精度が出るようなので試してみます。 (2) TanhExp(活性化関数) Mishより精度が良いとのこと。 (3) Flooding(正則化) 損失関数の値を一定以上の値になるように調整することで過学習を防ぐ手法 (4) Nesterovの加速勾配法(最適化) 実装変更により未対応となっておりました。この機会に対応します。 プログラムは、「ディープラーニングを実装から学ぶ（8）実装変更」を利用します。 今回もMNISTを利用し精度を検証します。