Scipyでの実践的な最適化のためのガイド（Scipy lecture notes 日本語訳） - Qiita

2.7.5. Scipyでの実践的な最適化のためのガイド 2.7.5.1. 手法の選択 すべての手法はscipy.optimize.minimize()のmethod引数として利用できます。 勾配が未知の場合： 一般的には、数値的に勾配を近似する必要がある場合でも、BFGSやL-BFGS が好ましいです。 これらはどちらもmethod引数を省略した場合のデフォルトで、問題に拘束条件や境界があるかによって選ばれます。 良条件下ではPowellやNelder-Meadの両者は勾配を必要とせず高次元でもうまく動きますが悪条件の問題ではこれらは挫折します。 勾配が既知の場合： BFGSまたはL-BFGS。 BFGSの計算オーバーヘッドはL-BFGSより大きく、L-BFGSは共役勾配法よりも大きくなります。一方で BFGSはたいていの場合でCGと比べて少ない関数評価で済みます。なので共役勾配法は関数