PRML第4章メモ - alembert の作業日記

http://d.hatena.ne.jp/alembert/20090726/p1 の続きです。 4.3 確率的識別モデル 確率的生成モデル＝入力変数のモデル , 確率的識別モデル＝出力変数のモデル ロジスティック回帰 活性化関数としてロジスティックシグモイド関数 σ(a) を利用 尤度が指数型分布族の場合に適用可能 誤差関数 : E(w) = -Σ(t ln y + (1-t)ln(1-y)) 交差エントロピー関数 誤差関数の勾配 : ∇E(w) = Σ(yn - tn)φn 目標値と予測値の誤差×基底関数ベクトル 線形基底関数モデルと一緒というのが興味深いね、という話（cf. 正準連結関数） 誤差関数のヘッセ行列 : ∇∇E(w) = ΦTRΦ（R = diag{yn(1-yn)} = cov[t]） 最尤推定 過学習の結果は直感通り、w=∞、ヘヴィサイドステップ関数によってクラスが