True Asymptotic Natural Gradient Optimization

We introduce a simple algorithm, True Asymptotic Natural Gradient Optimization (TANGO), that converges to a true natural gradient descent in the limit of small learning rates, without explicit Fisher matrix estimation. For quadratic models the algorithm is also an instance of averaged stochastic gradient, where the parameter is a moving average of a "fast", constant-rate gradient descent. TANGO ap

[elu_18]

フィッシャー情報行列の逆行列を前処理行列として使う自然勾配降下法は最適化法として有望だったが計算量が大きすぎる問題があった。提案手法のTANGOは単純な更新則で学習率が0に近づくにつれ自然勾配法と一致する。 h