確率的勾配降下法 - Wikipedia

ミニバッチを使い上下に行ったり来たりしながら目的関数の値が減少していく例 確率的勾配降下法（かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD）は、連続最適化問題に対する勾配法の乱択アルゴリズム。バッチ学習である最急降下法をオンライン学習に改良したアルゴリズムである。目的関数が微分可能な和の形であることを必要とする。 背景[編集] 下記の和の形の目的関数を最小化する問題を扱う。 パラメータ はQ(w) を最小化するように推定する。典型的には、 は i 番目の訓練データ。 古典的な統計学において、和の最小化問題は、最小二乗問題や最尤推定問題などにあらわれる。一般的なケースでは、和を最小化する推定量はM推定量と呼ぶ。しかしながら、Thomas S. Fergusonの例[1]などで示されるように、いくつかの最尤推定の問題において、最小解ではな

[totttte]

SGD

[kiyotune]

SGD

[wackyhope]

参考に。"確率的勾配降下法(オンライン学習)では、Q(w) の勾配は、1つの訓練データから計算した勾配で近似/全てではないが複数の訓練データで勾配を計算する方法をミニバッチ"

[kent-where-the-light-is]

“確率的勾配降下法（かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD）とは、連続最適化問題に対する勾配法の乱択アルゴリズム。目的関数が、微分可能な和の形である事が必要。バッチ学習である最急降

[chezou]

なんか、Adamまで増えてた

[gokichan]

わからん