共役勾配法 - Qiita

はじめに この記事は「これなら分かる最適化数学 -基礎原理から計算手法まで-」(金谷健一著,共立出版)の3.3「共役勾配法」を基に書いている。また、自主ゼミで担当した回に向けての内容になっているため、一部「前回の内容で説明済」との理由から説明を省略した箇所があるが、そこについては追って編集をする(かもしれない)。 イメージ １変数勾配法のアルゴリズムは、「傾きが正の間は進み、傾きが負になったら戻る」という山登りをして、山頂を探すようなものであった。 これがn変数の場合は、山登りを繰り返して、関数の極値へ向かっていった。 この図を見て、あることを思う。 「スタート地点からゴールの極値まで一直線に探索する方法があれば、もっと効率いいんじゃない？」 これこそが共役勾配法のモチベーションである。 関数$f$の地点$x^{(K)}$における接ベクトル$t^{(K)}$と勾配$\nabla f^{(K