回帰モデルにおけるL1正則化とL2正則化の効果 - old school magic
概要 回帰モデルとは、与えられた入力を用いて目標変数を予測するモデルです。 回帰モデルでは過学習を防ぐため、誤差関数(二乗誤差関数など)に次の式で表される正則化項を加えて最小化します。 この形の正則化項を用いる回帰をブリッジ回帰と呼びます。 特にの時をLasso回帰、の時をRidge回帰と呼びます。また、それぞれに用いられている正則加項をL1ノルム、L2ノルムと呼びます。 L1ノルムとL2ノルムの特徴を簡単にまとめると次のようになります。 L1ノルムはパラメータの一部を完全に0にするため、モデルの推定と変数選択を同時に行うことができる 特に次元数>>データ数の状況で強力 L2ノルムは微分可能であり解析的に解けるが、L1ノルムは 解析的に計算出来ない L1ノルムには様々な推定アルゴリズムが提案されている また、L1ノルムには 次元が標本数より大きい時、高々個の変数まて
【書評】続・わかりやすいパターン認識 -教師なし学習入門- - old school magic
続・わかりやすいパターン認識―教師なし学習入門― 作者: 石井健一郎,上田修功出版社/メーカー: オーム社発売日: 2014/08/26メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る 概要 「続・わかりやすいパターン認識 -教師なし学習入門-」の書評です。 本書は「教師なし学習」について、基礎から応用、最先端の内容までまとめた一冊です。 タイトルに「続」とあるように、「わかりやすいパターン認識」の続編という位置づけですが、前作を読んでいなくても理解できるような構成になっています。 わかりやすいパターン認識 作者: 石井健一郎,前田英作,上田修功,村瀬洋出版社/メーカー: オーム社発売日: 1998/08メディア: 単行本購入: 19人 クリック: 110回この商品を含むブログ (40件) を見る 内容 最初の3分の1が統計的な知識などの基礎的な内容です。 統計・ベ
変分ベイズについての資料まとめ(随時更新) - old school magic
変分ベイズとは? 平均場近似、変分推論、ベイズ学習など様々な呼び方があります。 フリーで読める解説だとこれが一番わかりやすかったです。 自然言語処理のための変分ベイズ法 http://www.ism.ac.jp/~daichi/paper/vb-nlp-tutorial.pdf CiNiiユーザならこのシリーズがおすすめです。 ベイズ学習[I] : 統計的学習の基礎 http://ci.nii.ac.jp/naid/110003230932/ PRML関連のまとめ PRMLの第10章が変分ベイズについての話です。 とても詳しく説明されているのですが、かなり難し目です。 なのでそこを解説した記事のまとめです。 PRML 読書会 #13 １０章 近似推論法(変分ベイズ) - Mi manca qualche giovedi`? http://d.hatena.ne.jp/n_shuyo/201
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
