自然勾配 (natural gradient)† 幾何的に自然な計量で勾配を計算しましょうという話でかっちりした定義があるわけではなく文脈によって微妙に使い分けられている. 統計多様体での最適化では自然な計量がFisher情報行列で,それは漸近的にはヘシアンのマイナスに一致するので,ニュートン法と等価になる. ニュートン法なので特異点の付近ではジャンプが大きくなってプラトーが避けられるという話もあるが効果の程はいかほどだろうか. また独立成分分析などで用いられる直交行列上の最適化では,リー群の構造から導かれる計量を使うと,逆行列の計算がなくなるところがおいしい. --あかほ ↑