Weight Normalization [arXiv:1602.07868]

概要 Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networksを読んだ Chainer 1.17で実装した（→GitHub） はじめに Weight Normalizationは、ニューラルネットの重みベクトル$\boldsymbol w$を \[\begin{align} \boldsymbol w=\frac{g}{\mid\mid \boldsymbol v \mid\mid}\boldsymbol v \end{align}\\] のように、ベクトル$\boldsymbol v$とスカラー$g$に分解します。 また、これらのパラメータで誤差関数$L$を微分した時の勾配はそれぞれ \[\begin{align} \nabla_gL &= \frac{

[stealthinu]

Weight Normalizationについての簡単な解説とchainerでの実装がある。コード見るとW^2をaxis=1でsumしてsqrtしてるがWって１次元配列じゃないのか。元論文もちゃんと読もう。