Batch Normalization の理解 - Qiita曖昧な理解だったのを、自前で実装できるくらいに理解しようと図解しました。その際の資料を公開します。 内容は、ほぼ"Understanding the backward pass through Batch Normalization Layer"の焼き直しです。 全結合NN の Batch Normalization いつ行うの？ 全結合のニューラルネットワークの場合、Affinの後、活性化(例:ReLU)の前 入力は？ Affinの出力を 行 として、 （図は入力層→NN第一層での例） ミニバッチ数分のAffin出力を並べた行列が入力。 入力行列をどう演算するの？ 要素毎（列内）で正規化の演算します。 演算式は？ 上図の１列の演算を示す 入力: 上図の１列の値 { $x_1$ ... $x_N$ } ( $N$:ミニバッチ数) 学習値 $γ$ , $β$ 出力：
