ベイズ線形回帰をまとめてみる(Python, bayesian regression) | 創造日記

これまでリッジ(Ridge)回帰やラッソ(Lasso)回帰、ElasticNetなどの線形回帰についてまとめてきた。 最小2乗法(OLS)をscikit-learnで使ってみる ラッソ(Lasso)回帰とリッジ(Ridge)回帰をscikit-learnで使ってみる Elastic Netを自分なりにまとめてみた(Python, sklearn) これらは以下の線形モデル \hat{y} = X\omega \\ を構築する重み \omega の値そのものを求めるというものだった。 今回はこの重みのばらつき具合(確率分布)も合わせて出してくれるベイズ回帰についてまとめる。 定式化 扱うモデル 今回は基底関数の線型結合したモデルを使うことにする。 この基底関数 \phi (\boldsymbol{x}) は多項式基底やガウス基底が使われる。 多項式基底 多項式基底は 1, x, x^2, \