確率的勾配降下法 - Wikipediaミニバッチを使い上下に行ったり来たりしながら目的関数の値が減少していく例 確率的勾配降下法（かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD）は、連続最適化問題に対する勾配法の乱択アルゴリズム。バッチ学習である最急降下法をオンライン学習に改良したアルゴリズムである。目的関数が微分可能な和の形であることを必要とする。 下記の和の形の目的関数を最小化する問題を扱う。 パラメータ はQ(w) を最小化するように推定する。典型的には、 は i 番目の訓練データ。 古典的な統計学において、和の最小化問題は、最小二乗問題や最尤推定問題などにあらわれる。一般的なケースでは、和を最小化する推定量はM推定量と呼ぶ。しかしながら、Thomas S. Fergusonの例[1]などで示されるように、いくつかの最尤推定の問題において、最小解ではなく局所解を要求
勾配法 - Wikipedia
