最小二乗法による最適化をしたい場面に使えるscipyの関数を一部まとめています。原理的にはscikit-learnで回帰分析やscipyのカーブフィットを行うことと変わりないですが、扱う係数行列が巨大であったり、スパースであったり、もしくは明示的に最小二乗法をときたい場合には以下の関数が使えます。 なお、この記事では全て重みなし最小二乗法を扱っています。 最小二乗法の原理 いま、最小二乗法における目的関数を以下のように定義します。 ここで、$x$と$y$はそれぞれ説明変数と被説明変数の関係にあり、モデル$f(x;\beta)$はパラメータ$\beta$に関して線形です。モデルの未知パラメータ$\beta$を求めるため、残差$e$の二乗和を最小化することが目的です。web記事には基本的にこの線形回帰モデルのカーブフィット問題として説明されていることが多い印象です。 一方、上式後半は行列形式に

