機械学習の最も基礎的な手法が最小二乗法だ。この特集では、Pythonで最小二乗法のプログラムを実装することで、その仕組みを学んでいく。 最小二乗法では、回帰式とデータ間の距離を二乗することでマイナスの値が出てこないようにしますが、「マイナスの値を出したくないのなら、距離の絶対値を取ってもよいのではないか」と思われた方もいるでしょう。というよりも、絶対値という概念を知っていれば、そう考える方が自然と言えるかもしれません。実は、距離の絶対値を取る「最小絶対値法」という手法があります。最小絶対値法による回帰は「ロバスト回帰」と呼ばれます。 回帰式とデータ間の距離を「誤差」と考えるとしましょう。その誤差の値が最も一般的な確率分布である“正規分布”になるときは、最小二乗法で良い結果が得られます。一方、「外れ値」があり、誤差が正規分布にならないときは、最小絶対値法の方が良い結果になることが多いようです