Pythonで最急勾配法を実装し、グラフを描く - minus9d's diary最急勾配法(gradient method)は、ある目的関数の極値を求める方法の一つです。勾配がもっともきつい方向にを少しずつずらしていく方法です。極大値を求める場合は再急上昇法(gradient ascent method)、極小値を求める場合は最急降下法(gradient descent method)と言いわけます。 教科書「言語処理のための機械学習入門 (自然言語処理シリーズ) 」にのっとると、の更新式は以下のように書けます。 再急上昇法： 再急降下法： ここでは学習率(learning rate)といわれるパラメータで、適切な値に設定する必要があります。値が小さすぎると収束が遅くなり、値が大きすぎると発散の危険が増します。 今回はPythonにて、という一変数関数の極小値を最急降下法で求めてみます。 実装コード #!/usr/bin/env python3 # -*- codin
