今回は、学習のテクニックの1つであるミニバッチ学習についてです。ミニバッチ学習を説明するために必要なバッチ学習、オンライン学習についてもご紹介します。 前回までと同様に、学習データをx、正解データ(教師データ)をt、重みをwとします。そして、ディープニューラルネットワークをf(x; w)とすると、正解値tに対する 、f(x; w)による推定値yの誤差の大きさを表す損失関数は、L(t , x; w)と表記できます。学習では、この損失関数L(t , x; w)がより小さくなるように重みwを更新する処理を繰り返します。 バッチ学習では、N個の学習データすべてを用いて損失関数L(t , x; w)を求め、重みwを更新します。具体的には次式の通り、1つ1つの学習データから求めた損失Lの平均を求めます。 この平均値を学習時に用いる損失として学習処理を行い、重みwを更新します。バッチ学習では学習データの