[線形回帰]説明変数の個数と(自由度調整済み)決定係数について - Qiita

初めに 筆者は、線形回帰の説明変数について、 「目的変数に無関係な変数は学習に用いない方が良い」(※1) というイメージを持っている。 しかし、線形回帰分析を勉強していく中で、 決定係数について下記の性質があることを知った。 「説明変数を追加した時、追加前と比べて、決定係数が下回ることは起こり得ない。(なので、説明変数の個数が異なるモデルの精度比較は、"自由度調整済み決定係数"を用いる。)」(※2) その性質を知った筆者は、下記[概要]記載の検証を行ってみたくなった。 概要 筆者の想定(※1)と決定係数の性質(※2)に関して、下記2点(①、②)の検証を (実際にモデルを作って) 行ってみた。 本記事は、その検証方法・結果を記載したものである。 ※①は理論的に成り立つものであり、②は筆者の想定である。 ①決定係数の比較 →目的変数に無関係な説明変数を追加した時、その決定係数は追加前の決定係数