The Tradeoffs of Large Scale Learningを読んだ - 射撃しつつ前転 改
The Tradeoffs of Large Scale Learning (L. Bottou and O. Bousquet, NIPS 2008) は、大規模データから機械学習を行う際のエラーについての考察を行った論文である。 機械学習を行う場合、なんらかの損失を定義し、その損失を最小化するようにパラメータを調整する事が多い。また、最終的にその損失を0にする事は概ね不可能である。エラーが発生する理由を、さらに3つに分解する事ができる。 真の確率分布を近似する際に発生するエラー（例えば、混合正規分布を単なる正規分布で近似したりすると、表現力が不足する） 期待損失と経験損失で、最小化している物が違うために発生するエラー 最適なパラメータと、現実的な時間で求める事ができるパラメータの差分として発生するエラー 一つ目のエラーを減らすためには、できるだけ表現力の大きなモデルを選ぶべきであるが、
ノンパラベイズを勉強してみる (6) まとめ - nokunoの日記
長々と書いてきたベイズ関連のエントリについてまとめました。ノンパラベイズを勉強してみる (5) ベイズ階層言語モデルによる教師なし形態素解析 - nokunoの日記個人的には「言語モデルの性能最大化で、教師なし単語分割ができる」という基本の部分が目からうろこでした。ノンパラベイズを勉強してみる (4) 階層Pitman-Yor過程 - nokunoの日記Pitman-Yor過程はディリクレ過程の拡張で、観測回数を実際より低く見積もるディスカウント項が追加されているのが特徴です。ノンパラベイズを勉強してみる (3) 階層ディリクレ過程 - nokunoの日記階層ディリクレ過程はその名の通りディリクレ過程に階層構造を持ち込んだもので、これを使うとN-gramモデルのスムージングを理論的に導出することができるというものです。ノンパラベイズを勉強してみる (2) ディリクレ過程 - nokunoの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
