【機械学習】パラメータ更新の最適化 - Qiita

\def\textlarge#1{% {\rm\Large #1} } \def\textsmall#1{% {\rm\scriptsize #1} } 学習率ηを作用させ勾配∂L/∂ωの逆方向にパラメータを変化させる、シンプルなアルゴリズムでした。 コードを記載します。 今回、いくつかパラメータの更新の最適化をトライするため、基底クラスでOptimizerというクラスを用意します。 手法名と共通の学習率を保持し、パラメータのアップデートを行う「update」関数を保有する簡単なクラスです。 それを派生して勾配法のクラスを用意します。 学習率は、前回から値を小さくし0.01。 繰り返し回数を800回で設定したときの交差エントロピー誤差の推移と 精度の推移は以下のようなグラフになります。 Momentum法 パラメータの最小値を物理法則的なアプローチで解析する手法です。 ちなみにMoment

[stealthinu]

SGDからAdamまでのオプティマイザについての解説。AdaGradまではわかりやすいんだけどそっから先は複雑になりすぎてよくわからんのよね。