1. 導入 私達が実際に機械学習で行っていることは誤差関数を最小にすることや尤度関数を最大にするパラメータを求めることですが、関数の最小点を見つけることを「最適化」とすると、関数によっては最適化はとても難しいものとなり、単なる行列計算では求めることができない場合があります( むしろそのような場合がほとんどです ). その際に勾配を用いたアプローチが効果的とされています. 2. 勾配降下法 関数の勾配を用いて、最適化を図る手法を勾配降下法( Gradient Descent: GD )と呼びます. 横軸を重み\( w \)、縦軸を誤差\( E(w) \)とした時、誤差が最小となる重みを\( w^{opt} \)とし、現在の重みを\( w^{old} \)とします. 学習によって最適な重み\( w^{opt} \)へ近づくように重みの更新を行うのですが、その際知りたいのは重みをどの方向へ動かせ