PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1

3. ３章・４章の手法の問題点 ３章・４章で紹介された回帰及び分類では固定された基底関数の線形和を使っ ていた。その結果、入力空間の次元数が増えると基底関数の数は急増する 1.4の多項式フィッティングの例を参考に ! 次数をMとし(上記1.74では次数は３)入力空間の次元数をDとすると係数の数は ＿ に比例する。この例ではベキ乗（power law）の増加だが係数（基底関 数）を指数的に増やしていく必要がある場合も多い。 （p.35 1.74, p. 172を参照） これは訓練データ集合を観測する前に基底関数を固定するという仮定から生じ る次元の呪い 4. 訓練データに対しての適応 基底関数（の数）の急増を防ぐ為訓練データに応じて基底関数を適応する モデルを考える。 • SVM • 訓練データを中心に基底関数群を定義し、一部を訓練中に選ぶ（７章） • フィードフォワードニューラルネットワー