線形回帰と誤差の話。 - いものやま。機械学習の基本中の基本ともいえる線形回帰。 そんな線形回帰も「当たり前」に踏み込んで考えてみるといろいろ面白かったりするので、今日はその話をしてみたい。 これは数理最適化 Advent Calendar 2022の11日目の記事です。 線形回帰のおさらい たとえば気温とビールの売れた量を見てみたら、次のようになっていたとする： 気温とビールの売れた量の関係 気温が上がればビールも売れていて、なんとなく直線で近似できそうな感じがする。 そこで気温を, ビールの売れた量をで表すことにして、いい感じのを使ってと表現しようというのが線形回帰。 ここで教師データとして実際に現れた気温と売り上げ量のペアが与えられたとして、適切なを推定したいとする。 さて、気温に対する予測値はなのに対し、実際にはだったので、誤差はとなる。 これはに関する関数となっていて、の値を変えることで誤差は大きくなったり小さくなっ
