大域的非線形数値最適化 - Wolfram Mathematica 7 Documentation

制約条件付きの非線形最適化に対する数値アルゴリズムは，大まかに分けると勾配法と直接探索法とに分けられる．勾配法では，第1導関数（勾配）か第2導関数（ヘッシアン）が使われる．この例には逐次二次計画(SQP)法，拡大ラグランジュ法，非線形内点法がある．直接探索法では，導関数情報は使われない．この例としては，Nelder-Mead法，遺伝的アルゴリズム，微分進化法，焼きなまし法がある．直接探索法の方が収束が遅い傾向があるが，関数と制約条件のノイズの存在への耐性は強い． 通常，アルゴリズムは問題の局所的なモデルを構築するだけである．また，そのようなアルゴリズムの多くは目的関数の減少，目的関数と制約条件の組み合わせであるメリット関数の減少を要求し，反復プロセスの収束を確実にする．収束した場合，このアルゴリズムは局所的最適値だけを見付けるため，「局所的最適化アルゴリズム」と呼ばれる．Mathemati