Batch Normalization の理解 - Qiita

曖昧な理解だったのを、自前で実装できるくらいに理解しようと図解しました。その際の資料を公開します。 内容は、ほぼ"Understanding the backward pass through Batch Normalization Layer"の焼き直しです。 全結合NN の Batch Normalization いつ行うの？ 全結合のニューラルネットワークの場合、Affinの後、活性化(例:ReLU)の前 入力は？ Affinの出力を 行 として、 （図は入力層→NN第一層での例） ミニバッチ数分のAffin出力を並べた行列が入力。 入力行列をどう演算するの？ 要素毎（列内）で正規化の演算します。 演算式は？ 上図の１列の演算を示す 入力: 上図の１列の値 { $x_1$ ... $x_N$ } ( $N$:ミニバッチ数) 学習値 $γ$ , $β$ 出力：

[masatoi]

畳み込み層のbatch normについて調べてて見つけた

[stealthinu]

BNやるのをActivationの前か後か調べて知ったエントリだが、Batch Normalizationについて逆伝搬の求め方について非常に丁寧に書かれてて大変勉強になった。