L-BFGS法(記憶制限BFGS法)の実装 - 趣味で計算流砂水理 Computational Sediment Hydraulics for Fun LearningThe English version is available here はじめに L-BFGS法の導出 L-BFGS法の実装 計算例 scipy.optimize.fmin_l_bfgs_bとの比較 メモ 最急降下法との比較 考察とまとめ Github はじめに 非線形問題の最適化に最もよく使用されるL-BFGS法(記憶制限BFGS法、BFGS法は準ニュートン法の解法の一つ)について書きます。準ニュートン法なので勾配法ですね。 ディープラーニングでは確率的勾配降下法（力技!!）が使用されますが、最適化問題やディープラーニング以外の機械学習でもL-BFGS法はよく使われています。 しかし、L-BFGS法のオープンライブラリはあまり多くないです。 その理由としては、私が思うのものは、 汎用的なものが書きづらい。用途に合わせたチューニングが必要。 コーディングが泥臭い。不安定なモデルのためエ
