自然勾配法関連のメモ - HELLO CYBERNETICS勾配法 損失関数 勾配学習 自然勾配法 最急降下法 リーマン空間 勾配法を再び 自然勾配法 自然勾配法とその亜種 の推定を行う適応的自然勾配法 参照：Singularities Affect Dynamics of Learning in Neuromanifolods を推定しない擬似的自然勾配法 参照:自然勾配近似法を起点としたバッチ正規化の数理的理解 勾配法 損失関数 学習パラメータを持つ関数に関して、損失関数を考え、関数の性能を損失のについての期待値 で測る。さしあたり、の確率分布は不明なので、期待値を取る代わりに、観測されるデータの個々の損失の平均値 で代用します。これは真の分布の代わりに経験分布によって代用しているということになります。 を訓練誤差と呼び、これを最小化するを獲得することを学習と呼びます。 本来は真の損失関数を最小化したいのに、代わりに訓練誤差を使う(すなわち真の
