決定係数について - Qiita

はじめに 千葉大学/Nospareの米倉です．今回は決定係数について解説したいと思います． 決定係数とは まずは次のような線形回帰モデルを考えます， $$y=X\beta+\epsilon.$$ ここで$y,X,\beta$はそれぞれ，$n$次元の被説明変数のベクトル，$X$は説明変数ベクトルからなる$n\times d$の行列，$\beta$は$d$次元のパラメータのベクトルとし，$\epsilon$は線形回帰分析の際の適当な仮定を満たす確率ベクトル（誤差ベクトル）とし，その分散は$\sigma^2$であるとします．またこの記事では$X$も確率変数だとしますが，定数として扱っても議論の結論などに影響はないです． この時，最小二乗推定量$\hat{\beta}$は，$$\hat{\beta}=(X^{\top}X)^{-1}X^{\top}y$$と適当な仮定の下で求まります．これを用いると

[short13]

“自由度調整済み決定係数もパラメーターが多いモデルを良いモデルとして選んでしまう性質があります．”，モデルが大きくなる時にに与える罰則の大きさが足りていない指標" ここんとこもっと詳しく！

[jusuke]

“決定係数をモデルの良さの評価の指標としてレポートするのは良くない”

[Aobei]

自由度調整済み決定係数について

[misshiki]

“現代の統計学を用いた実証分析では決定係数を報告する意味はない...決定係数の代わりに，例えばleave-one-out cross-validation (LOOCV，一個抜き交差検証) を用いたモデルの当てはまりの診断がメジャーになってきています．”

[kairusyu]

LOOCVでも良くはない気がするんだよな。

[knok]

説明変数を増やすとoverfittingしやすくなるから、決定変数そのものだけで議論をするのは良くない、ということかな

[cartman0]

個人的にはブートストラップ法使って近似分布出したりそこからパーセンタイルで信頼区間出せばまだありかなと思うけど実際どうなんやろ

[kotesaki]

そ、そうなの？（リバブルCM風）

[bocuno]

ふむふむなるほど。完全に理解した。(^q^)