確率的勾配降下法確率的勾配降下法 機械学習のアルゴリズムの多くは，考えている問題を， 何らかの目的関数の最大化もしくは最小化問題（最適化問題）に落としこんで解く． 最適化問題の解析解を簡単に求められればよいが，そうではない場合は反復法 （適当に与えた初期値を徐々に最適解に近づける方法）に頼ったりする． 今日は，そんな反復法の1つである，確率的勾配降下法のお話． 勾配降下法 まずは，「確率的」勾配降下法の前に，普通の勾配降下法 (gradient descent) について話しておく． パラメータ $\theta$，サンプル $x$ に対する誤差関数を $E(x, \theta)$ とおくと， 勾配降下法では，誤差関数のサンプルに関する期待値 を最小化する．しかし，一般に $p(x)$ は分かんないし，そもそも，上の積分を計算するためには， 起こりうる全てのサンプルを獲得しなければいけない． 普通は母集団は
Alpha Beta Epsilon
