機械学習のアルゴリズム（線形回帰の一般化） - Qiita

になる。この$\phi(x)$を基底関数という。 様々な基底関数 一般化された式の意味するところは、線形回帰というのはつまり、ある基底関数を組み合わせて与えられたデータ列をもっともよく表す係数の列$\boldsymbol{w}$を見つけること、ということです。 単回帰、重回帰。回帰直線で近似する際に使う。$$\phi_j(x)=x$$ 多項式回帰。多項式で近似。$$\phi_j(x)=x^j$$ ガウス基底関数$$\phi_j(x)=\exp\left\{-\frac{(x-\mu_j)^2}{2s^2}\right\}$$ シグモイド基底関数。ニューラルネットでよく使われる。$$\phi_j(x)=\sigma(\frac{x-\mu_j}{2s})$$ フーリエ基底。フーリエ変換で使われる。$$\phi_j(x)=\exp(i\theta)$$ scikit-learnでは回帰に様々な