Deep Learning覚え書き（Batch Normalization） - 八谷大岳の覚え書きブログ

Deep Learningの各階層の入力データの分布は、学習の過程において、下位層のパラメータが更新されることにより変化する。各階層の勾配は、ミニバッチ内で平均をとることにより推定しているが、この分布の変化により推定に、ミニバッチごとに異なるバイアスが乗りやすくなる。そのため、学習が不安定になるという問題がある。この問題は、internal convariance shiftと呼ばれている。この問題を解決するために、下記の論文では各階層の入力分布をミニバッチごとに平均=0と分散=1とに正規化するbatch normalizationという方法が提案されている。 http://arxiv.org/pdf/1502.03167v3.pdf 今回は、chainerにてBatch normalizationを、各CNNに２つの方法で適用してみた。 １）下記のようにconvと非線形な活性化関数ReL

[kurukuru-papa]

Batch normalizationについて、動作確認結果が書かれている。観点は、(1)Batch normalizationを活性化関数（Relu）前後のどちらで実行するべきか、(2)Batch normalizationは畳み込み層と全結合層のどちらにも効くのか。結論は、(1)学習対象