Python SciPy : 多変数スカラー関数の制約なし局所的最適化各最適化アルゴリズムの特徴は SciPy lecture notes の第 2 章にも書かれており大変参考になります。 最適化においては完全なアルゴリズムが存在しないため、問題ごとに 2 通り以上の方法を試し、結果や収束速度などを比較することが推奨されています。 Nelder-Mead の滑降シンプレックス法は偏導関数を使わないため収束が非常に遅いですが、場合によっては非常に頑強な手法です。ちょこっと試しに収束解を求めてみようというときには有用です。 滑降シンプレックス法以外の手法は基本的に次の探索方向の選び方が違うだけです。 修正 Powell 法は偏導関数の計算が困難なときによく使われます。 滑降シンプレックス法より収束が速いので、偏関数が与えられないときはこの手法を使ってみると良いでしょう。 共役勾配法と後述の BFGS 法は 1 階偏導関数を与えてやる必要があります。 偏導関数を与
