学習時と推論時のバッチノーマライゼーション - Qiita

概要 バッチノーマライゼーションを使って学習した後、推論時にはどう入力を正規化すれば良いのか？? について疑問に思ったので調べてみました。 結論 BNを用いた学習時に小さくないバッチサイズを使うことができていた場合 学習時のバッチ毎の正規化に使った値の移動平均を記憶させておき、その値を使って推論時の入力も正規化しましょう。 BNを用いた学習時に小さいバッチサイズしか使えなかった場合 移動平均ではなく、正規化に使われた値の統計的な平均を計算し、その値を推論時に使いましょう。 内容 バッチノーマライゼーションは、機械学習において学習時、バッチ毎に正規化を行い、リスケールをするパラメータを学習させることでモデルをより早く学習させたりする汎用的な手法です。 【GIF】初心者のためのCNNからバッチノーマライゼーションとその仲間たちまでの解説 がとてもわかりやすくバッチノーマライゼーションについて解