深層学習における最適化手法（SGD,momentum,AdaGrad）を自前で作って、2次関数の最小値を求めようとした+init,classの勉強にもなった - Qiita

#はじめに ニューラルネットワークにおける最適化手法は日々新しいアルゴリズムが生み出されています。前の記事では、SGDからADAMまでその開発された経緯をまとめました。 今回の記事では、その最適化手法を実装して、ニューラルネットワークにおける収束の速さを確認したいと思います！。といきたいところですが、今回はこの最適化手法を簡単な２次関数に適用したいと思います。 教科書などでは基本的にはＭＮＩＳＴなどの手書き数字画像を例にとって損失関数の値が下がっていくことを確認します。しかし、ニューラルネットワークにおける損失関数は非常に複雑であるため、いまいち最小値を導けているのか実感がわきません。 従って、今回は２次関数を例にすることで、最小値へ向かっていくことを見ていきたいと思います。 また、自分でクラスを定義して読み込むことを実装しましたが、そこで理解したことも記しておきます。 今回の概要です。