統計的機械学習入門 | 中川研究室
導入pdf 情報の変換過程のモデル化 ベイズ統計の意義 識別モデルと生成モデル 最尤推定、MAP推定 データの性質 情報理論の諸概念 (KL-divergenceなど) 距離あるいは類似度 数学のおさらいpdf 行列の微分 線形代数学の役立つ公式 多次元正規分布 条件付き正規分布 Bayes推論pdf Bayseによる確率分布推定の考え方 多項分布、ディリクレ分布 事前分布としてのディリクレ分布の意味<\li> 正規分布と事後分布 指数型分布族 自然共役事前分布の最尤推定 線形回帰および識別pdf 線形回帰のモデル 正則化項の導入 L2正則化 L1正則化 正則化項のBayes的解釈 線形識別 2乗誤差最小化の線形識別の問題点 生成モデルを利用した識別 学習データと予測性能pdf 過学習 損失関数と Bias,Variance, Noise K-Nearest Neighbor法への応用 b
RでL1 / L2正則化を実践する - 渋谷駅前で働くデータサイエンティストのブログ
L1 / L2正則化と言えば機械学習まわりでは常識で、どんな本を見てもその数式による表現ぐらいは必ず載ってる*1わけですが、そう言えばあまり実務では真面目にL1 / L2正則化入れてないなと思ったのと、Rでやるなら普通どうするんだろう？と思ったので*2、もはや周回遅れみたいな感じではありますが備忘録的に実践してみようかと思います。 L1 / L2正則化って何だっけ ということで復習（自分の記憶が合っているかどうかの確認）。。。PRMLにも載ってる有名な図がありますが、あれの説明が直感的には最も分かりやすいかと思います。これは重み付けベクトルが2次元の場合、つまりとを求めるという問題を想定した図です。もうちょっと言えば2次元データに対する分類or回帰問題ということで。 基本的には分類器にせよ回帰モデルにせよ、学習データに対する誤差*3を定式化して、これを最小化するように（このケースでは2つの
回帰モデルにおけるL1正則化とL2正則化の効果 - old school magic
概要 回帰モデルとは、与えられた入力を用いて目標変数を予測するモデルです。 回帰モデルでは過学習を防ぐため、誤差関数(二乗誤差関数など)に次の式で表される正則化項を加えて最小化します。 この形の正則化項を用いる回帰をブリッジ回帰と呼びます。 特にの時をLasso回帰、の時をRidge回帰と呼びます。また、それぞれに用いられている正則加項をL1ノルム、L2ノルムと呼びます。 L1ノルムとL2ノルムの特徴を簡単にまとめると次のようになります。 L1ノルムはパラメータの一部を完全に0にするため、モデルの推定と変数選択を同時に行うことができる 特に次元数>>データ数の状況で強力 L2ノルムは微分可能であり解析的に解けるが、L1ノルムは 解析的に計算出来ない L1ノルムには様々な推定アルゴリズムが提案されている また、L1ノルムには 次元が標本数より大きい時、高々個の変数まて
線形代数の用語と意味まとめ（主に自分用） - About connecting the dots.
恥ずかしながら，線形代数周りの用語って似たようなものが多くて，すぐにアレがどれだっけと混同してしまいがちになります．線形代数の手計算とかがんばってたのなってもう10年とか昔の話だし，チートシート的にまとめなおしておこうと思いました．内容的には，主に統計や機械学習で使うような内容が中心になっています． 概要 統計・機械学習で使う線形代数は，基本的には以下「計算の簡便化」と「データ変換」の2つがメインです．もちろん数学的に突っ込んでいったり，統計・機械学習でも応用的な手法を用いる場合はその限りではないですが，基本的には下の2つが大きいと思います*1． 計算の簡便化 （例えば固有値・固有ベクトルを用いて）行列を対角化することで，行列の乗算を高速に実施する （LU分解を用いて）扱いやすい形に行列を分解することで，その後の計算を高速にする データ変換 SVDを行うことでLSIやPCAといったデータ縮
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
