Newton法である。 はのHesse行列と呼ばれる。 が2階連続微分可能であれば は対称行列になる。 さて, 式(10)の近似の精度が十分に良ければ, 式(10)の右辺が最小になるを求めることで, 最小点の良い近似が得られると期待される。 ところで, が関数の 極小点であればのHesse行列は正定値となることが証明できる。 上記は「スカラー関数がある点で極小値を取る(下に凸になる)ときには その関数の2回微分は正になる」という事実の次元への拡張になっている。 記法の簡単のために , , とおいて式(12)の右辺を書き直すと
