勾配降下法一覧 (2020) - Qiita

対象者 深層学習の最適化手法である確率的勾配降下法をまとめてみました。 といっても、こちらにまとめられている数式と論文を基に、初期値や論文に載っていなかった定数の決定などをPytorch、Keras、Chainerなどの実装を参考に行ったものをまとめただけです。 数式などは実装ライクにまとめますので、自分で実装してみたい人は見ていってください。 間違いなどがあれば気軽にご指摘ください。 また、新しい最適化手法の情報をお持ちの方や、作成中の最適化手法についても是非教えてください！ こちらで探索平面ごとの挙動の違いを紹介しています。 こちらにて実装コードを公開しています。ご自由にご活用ください。 目次 はじめに 最急降下法とは 確率的勾配降下法とは 実装ベース SGD Momentum SGD NAG AdaGrad RMSprop AdaDelta Adam RMSpropGraves SM