制約付き最適化問題とLagrange関数

前の項では変数に制約条件がないときの関数の最適化問題を取り扱った。 本節では, 変数に等式制約条件が課されているときの最適化問題の解法を 取り扱う。 このような問題の代表的な解法がLagrange関数を用いる方法である。 等式制約条件 のもとで関数 の最小値を求める問題を考える。 ただし, は必要な回数だけ微分可能であるとする。 ここで, 点 が上記の問題の最適解だったと仮定しよう。 すると, なる曲面に沿って を少しだけ動かして も, の値は変わらないはずである。 すなわち, 超曲面 と超曲面 は点 において接(超)平面を共有するから, これらの 超曲面の法線ベクトルとは点 において平行になる。 このような場合には, 適当な定数が取れて,