[AI入門] ディープラーニングの仕組み ～その4：最適化アルゴリズムを比較してみた～ | SIOS Tech. Lab

SGD SGDはstochastic gradient descent（確率的勾配降下法）の略です。 SGDの考え方は、 「勾配を見ればどちらに動かせばlossが減るのか分かるなら、勾配の分だけパラメーターの値を減らせばよい」 です。 for i in range(steps): parameter = parameter - lr * grad デフォルトパラメータ lr = 0.01 パラメータを勾配×学習率だけ減らします。 学習率は一度のパラメータの更新でどのぐらい学習を進めるかを調整します。小さすぎると学習が全然進まず、大きすぎるとパラメータが最適値（lossが最小になるときの値）を通り過ぎてしまいうまく学習できません。 もっとも簡単で基本的なアルゴリズムです。これ以降に紹介する最適化アルゴリズムは基本的にこれを改良していったものです。 確率的勾配降下法だけでなく、最急降下法やミニ