Batch Normalization：ニューラルネットワークの学習を加速させる汎用的で強力な手法

Batch Normalizationとは何か 内部の共変量シフト アルゴリズム Batch Normalizationのメリット 大きな学習係数が使える 正則化効果がある 初期値にそれほど依存しない Batch Normalizationを実装してみよう TFLearnのインストール CIFAR-10の画像分類で検証 まずはCNNでネットワークを構築 Batch Normalizationを適用 Dropoutを追加する まとめ シンプルでありながら、Deep Learningにおいて必須ツールとなったBatch Normalizationはとても強力な手法だ。Batch Normalizationは他の開発者や研究者からも評判が高く Chainerを使ってコンピュータにイラストを書かせる には 一番効いてきているのがBatch NormalizationとAdamでした．これ入れないと

[kurukuru-papa]

Batch Normalizationの効果について、検証している。やっぱりBatch Normalizationの効果は大きい模様。TensorFlowのラッパーTFLearnを使っている。

[somemo]

深くなった隠れ層において各層とActivationごとに入力分布が変わってしまう問題（Internal Covariate Shift), データセットだけ白色化されていてもネットワーク内部で分散が偏る, L2正則化の必要性が下がる/Dropoutの必要性が下がる