深層学習における最適化手法（SGD,momentum,AdaGrad）を自前で作って、2次関数の最小値を求めようとした+init,classの勉強にもなった - Qiita

深層学習における最適化手法（SGD,momentum,AdaGrad）を自前で作って、2次関数の最小値を求めようとした+init,classの勉強にもなったPython初心者機械学習ニューラルネットワーク深層学習 はじめに ニューラルネットワークにおける最適化手法は日々新しいアルゴリズムが生み出されています。前の記事では、SGDからADAMまでその開発された経緯をまとめました。 今回の記事では、その最適化手法を実装して、ニューラルネットワークにおける収束の速さを確認したいと思います！。といきたいところですが、今回はこの最適化手法を簡単な２次関数に適用したいと思います。 教科書などでは基本的にはＭＮＩＳＴなどの手書き数字画像を例にとって損失関数の値が下がっていくことを確認します。しかし、ニューラルネットワークにおける損失関数は非常に複雑であるため、いまいち最小値を導けているのか実感がわきませ