統計的学習理論と正則化に関するちょっと数理的な基礎 - 横須賀の某Prisonで働く研究者？のブログ今回は機械学習でよく出てくる正則化の数理的基礎についてまとめたいと思います． ちょっと数理的なお話が多くなりますが， 大学院に居たときも今の職場で話しているときにも，この辺の事を理解している人は意外と多くないのかなと思ったので， 記事にしてみました． なお，本記事の内容の大部分は 金森敬文. (2015). 統計的学習理論 (機械学習プロフェッショナルシリーズ). を参考に書いています． 一般的な学習理論のお話 回帰にしろ分類にしろ，機械学習の理論はある程度統一的に扱うことが出来ます． 目的変数$y$が離散変数であれば分類問題になりますし，連続変数であれば回帰になります． ここでは，回帰・分類を統一的に扱い，学習理論一般に関する説明を少しだけしたいと思います． 入力ベクトルを$\boldsymbol{X}\in \mathcal{X} \subset \mathbb{R}^d$， 目的変数
