新はてなブックマークでも使われてるComplement Naive Bayesを解説するよ - 射撃しつつ前転 改
新はてブ正式リリース記念ということで。もうリリースから何週間も経っちゃったけど。 新はてなブックマークではブックマークエントリをカテゴリへと自動で分類しているが、このカテゴリ分類に使われているアルゴリズムはComplement Naive Bayesらしい。今日はこのアルゴリズムについて紹介してみる。 Complement Naive Bayesは2003年のICMLでJ. Rennieらが提案した手法である。ICMLというのは、機械学習に関する（たぶん）最難関の学会で、採択率はここ数年は30%を切っている。2003は119/371で、32.1%の採択率だったようだ。 Complement Naive Bayesの位置づけは 実装が簡単 学習時間が短い 性能もそこそこよい という感じで、2003年段階にあっても、絶対的な性能ではSVMに負けていた。しかし、学習が早いというのは実アプリケーシ
Compute 3D shape and scene from single image
Publication Feng Han, and Song-Chun Zhu, "Bayesian Reconstruction of 3D Shapes and Scenes From A Single Image", Workshop on Higher-Level Knowledge in 3D Modeling and Motion Analysis, Nice, 2003. Abstract It's common experience for human vision to perceive full 3D shape and scene from a single 2D image with the occluded parts ``filled-in'' by prior visual knowledge. In this paper we repre
変分ベイズの理論 titech
が成り立つことは、 統計力学が成立したころから知られていたのではないかと思います・・・。 2.物理学科の3年生で習うこと 物理学科の3年生はみんな、次のことを学習します。 これは数学や情報学では、あまり習わないことなので、物理学科以外の人の 参考になるかも知れません。 (1) 平均場近似は、本当の分配関数 Z を知らなくても計算できますが、 その代わり、平均場近似では本当の Z を知ることはできません。 つまり平均場近似が計算できるということと、本当の現象を知るということは、 情報論的に独立な（？）仕事です。 (2) 1次元スピン系では、平均場近似も厳密解も計算できます。 1次元スピン系では、平均場近似は相転移を持ちますが、厳密解は相転移を持ちません。 ほとんどのモデルで平均場近似は計算できますが、たいていのモデルで厳密解は 計算できません。厳密解が計算できないケ
僻地 - Bayesian Setの種明かし
Bayesian Setとは集合D_Cが与えられたとき、そこから「類推」して、元の集合C⊃D_Cに入る元xを(「自信」の度合いを表す数値つきで)求めるというもの。ただし、D_Cの元やxは特徴データ{c_i}をもっているとする。で、原論文を読むとΓ関数がずらずらでてきておどろおどろしいのだけれど、実はやっていることは簡単だということに気がついたので、書いてみる。簡単のために、特徴はあるかないかの2値的とする。(一般的には連続量も扱える。)すると、Bayesian Setのアルゴリズムがやっていることは、xについて観測された特徴c毎に重みwを足していくだけである。重みwはハイパーパラメーターα、βを使って,と書ける。ハイパーパラメータというと難しいそうだが、α_t = (Nc:D_Cでcをもつ元の数) + α、β_t = (N-Nc:D_Cでcを持たない元の数) + βと定めるので、α、βは先
事後確率と尤度（頻度主義とベイズ主義について）
---------------------------------------------------------- 事後確率と尤度――系統推定における最尤法とベイズ法の最前線 ---------------------------------------------------------- 尤度（likelihood）とはある仮説（モデル）のもとで観察されたデータが生じる確率を意味しています．以下では，この尤度が「ベイズの定理」と呼ばれているもののパーツを構成していることを示します．これは，系統推定の業界で「最尤法」に代わるものとして最近用いられ始めている「ベイズ法」を理解する要になります． ------------------------ ●「ベイズの定理」の導出 ------------------------ いま，観察データＤが与えられたとして，それを説明する対立仮説がＨi（ｉ
A Plan for Spam - スパムへの対策
スパムへの対策 ---A Plan for Spam Paul Graham, August 2002 これは、Paul Graham：A Plan for Spam を、原著者の許可を得て翻訳・公開するものです。 <版権表示> 本和訳テキストの複製、変更、再配布は、この版権表示を残す限り、自由に行って結構です。 (「この版権表示」には上の文も含まれます。すなわち、再配布を禁止してはいけません)。 Copyright 2002 by Paul Graham 原文: http://www.paulgraham.com/spam.html 日本語訳：Shiro Kawai (shiro ＠ acm.org) <版権表示終り> Paul Graham氏のエッセイをまとめた『ハッカーと画家』の 邦訳版が出版されました。 出版社の案内ページ Amazon.co.jp サポートページ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://hawaii.naist.jp/~shige-o/cgi-bin/wiki/wiki.cgi?%C6%FE%CC%E7%BC%D4%B8%FE%A4%B1%B2%F2%C0%E2
