株式会社NTTデータ数理システム読み：かくりつてきこうばいこうかほう 英名：Stochastic Gradient Descent 関連：近接勾配法，ビッグデータ 確率的勾配降下法（Stochastic Gradient Descent，以下 SGD）は確率密度関数 $p(z)$ に対して目的関数が期待値で表された以下のような最適化問題に対して有効なアルゴリズムである． $$ \min L(w) = \displaystyle\int{l(w,z)p(z)dz}. $$ 上式における $l,w,z$ をそれぞれ損失関数，モデルパラメータ，データに対応する確率変数の実現値とすれば，上記問題は機械学習における期待損失（汎化誤差）の最小化問題に他ならない．そこで，関数 $L(w)$ は期待損失と呼ぶことにする．期待損失の値やその勾配 $\nabla L(w)$ はいくつかの理由により計算困難である場合が多い．例えば分布 $p(
