Optimizer : 深層学習における勾配法について - Qiita

はじめに 深層学習の勾配法には様々な手法が提唱されています。その中で、どの手法を用いるのが適切であるか自分でもあまり理解できていない部分があり、今回は勾配法の中でも実際に深層学習で主に用いられている手法(SGD, Momentum SGD, AdaGrad, RMSprop, AdaDelta, Adam)について、実装することを前提に調べてまとめてみました。実装フレームワークはChainerを想定しています。 SGD SGD(Stochastic Gradient Descent : 確率的勾配降下法)は、Optimizerの中でも初期に提唱された最も基本的なアルゴリズムです。重み$\mathbf{w}$の更新は以下のように行っております。このとき、$E$は誤差関数、$\eta$は学習係数を表しています。 \mathbf{w}^{t + 1} \gets \mathbf{w}^{t} -

[reboot_in]

“まあ少なくともSGDに比べたら精度も収束時間も格段に上がることはわかっているので、次はもう少しこれらのアルゴリズムがそれぞれどのような問題に適しているのかということを理解することが課題だと考えています。

[stealthinu]

SGDからAdamまでのオプティマイザについての解説。SGD/Momentum/AdaGrad/RMSprop/AdaDelta/Adamの各々の式がまとめられてる。

[hsato2011]

momentum SGDの説明。SGDとAdagradなど勾配法の説明

[stibbar]

adam

[rishida]

最適化の比較

[kaz_uki_1014]

Optimizer : 深層学習における勾配法について - Qiita はじめに深層学習の勾配法には様々な手法が提唱されています。その中で、どの手法を用いるのが適切であるか自分でもあまり理解できていない部分があり、今回は勾配法の