ベイズを学びたい人におすすめのサイト - download_takeshi’s diary
ベイジアンフィルタとかベイズ理論とかを勉強するにあたって、最初はなんだかよくわからないと思うので、 そんな人にお勧めのサイトを書き残しておきます。 @IT スパム対策の基本技術解説（前編）綱引きに蛇口当てゲーム？！楽しく学ぶベイズフィルターの仕組み http://www.atmarkit.co.jp/fsecurity/special/107bayes/bayes01.html いくつかの絵でわかりやすく解説してあります。 自分がしるかぎり、最もわかりやすく親切に解説してる記事です。数学とかさっぱりわからない人はまずここから読み始めるといいでしょう。 茨城大学情報工学科の教授のページから http://jubilo.cis.ibaraki.ac.jp/~isemba/KAKURITU/221.pdf PDFですが、これもわかりやすくまとまってます。 初心者でも理解しやすいし例題がいくつかあ
ベイズ識別器による関連ページの発見
ベイズ識別器、通称ベイジアンフィルタを使って、あるウェブページの内容と似たウェブページを探してみたときのメモ。 ベイズ識別器となる Python モジュールは https://pypi.python.org/pypi/Reverend です。 Reverend に渡す日本語データは「わかち書き」しないといけないので mecab を使った。 import sys import os import glob from reverend.thomas import Bayes # 類似ページを発見したいHTMLファイル inputfile = os.path.abspath(sys.argv[1]) # 判定用のデータとなるHTMLファイルが格納されたディレクトリ (Unix shell-style wildcards) sourcefiles = "/path/to/*.html" # 比較元
ウノウラボ Unoh Labs: 自己学習で分類精度を向上させるベイジアンフィルタ
20070201勉強会＿ベイジアンフィルタ posted by (C)フォト蔵 ベイジアンフィルタを自己学習を行う事で文書を高精度にフィルタリングすることができるシステムです。 SpamassassinやPOPFileのようなspamメール振り分けソフトに使用されているのでご存知の方も多いと思います。 ベイジアンフィルタというとspamメールの処理で広く使われているイメージがありますが、 これをwebの世界でも応用してみれば面白いものができるんじゃないかと思っていろいろ開発してたのですが、 結局実現には至りませんでした。 このままではもったいないので、これまで勉強してわかってきたことを勉強会で発表しました。 勉強会の様子の動画と資料を公開します。 bayes.pdf 僕自身専門家ではないので、いろいろ間違ってる部分もあるかと思います。 その時はご指摘いただければ幸いです。
スパム対策に欠かせないベイズ理論とは？
測定できなければ科学は成立しない、と言う人がいる。ベイズ理論は、以前は測定できなかった物の測定方法を提示する。仮説や予測を検証し、結論や決断を洗練していく。この理論を利用したベイジアンフィルターは、今、スパムコントロールの分野でホットな話題となっている。 扱う要因と可能性が限定されている場合、基本的な確率の計算は簡単だ。例えば、出走馬が10頭の競馬レースを考えてみよう。どの馬に賭けるかの根拠となる情報が、「出走馬が10頭」だけであれば、どの馬を選んでも、勝つチャンスは10分の1だ。しかし、こんな計算を競馬場に持ち込んだら、たちまち財布は空になってしまう。現実の世界はもっとはるかに複雑だ。そしてここに、ベイズ理論の出番がある。 実際には、10頭の出走馬はそれぞれ、すでに少なくとも数レースは経験している。つまり、戦歴がある。ライトニングという馬が連戦連勝で、サンダーという馬が出走したすべてのレ
人工知能とコンピューターの未来を握る『ベイズ理論』(下) | WIRED VISION
人工知能とコンピューターの未来を握る『ベイズ理論』(下) 2001年4月24日 コメント： トラックバック (0) Leander Kahney 2001年04月24日 (4/23から続く) 『クリッピー』は、この未来の技術を伝える優秀な大使には見えないかもしれない。この哀れなペーパークリップは、ごく一部分しかベイズ・システムに基づいていないのだ。 90年代半ば、マイクロソフト社の研究者チームは、ベイズ・システムを採り入れた高性能なプロトタイプ、『ルミエール』を作り出したが、これがユーザーに混乱をもたらしているヘルプシステムの「基礎をなす」モデルだった。現在マイクロソフト社ではこのソフトウェアを利用し、必要な場面を自分で判断して登場しユーザーに助言を与えられる高度なヘルプシステムを開発している。 ルミエールは、ユーザーがいつ助けを必要としているかを予測するために、機能していないアイコンをク
人工知能とコンピューターの未来を握る『ベイズ理論』(上) | WIRED VISION
人工知能とコンピューターの未来を握る『ベイズ理論』(上) 2001年4月23日 コメント： トラックバック (0) Leander Kahney 2001年04月23日 米マイクロソフト社の『オフィス』シリーズに登場するヘルプ用アニメキャラクター『クリッピー』。だがその評判はどうもかんばしくなく、マイクロソフト社はとうとうお払い箱にする決定を下した。 クリッピーは、オフィスの使い方についてユーザーをアシストするべく用意されたポップアップ式のペーパークリップ型アニメキャラクターだが、ほとんどの場合役に立たない場面で現れるだけだという不評を買い、『オフィスXP』では自動的に姿を現わすことはなくなる。だが、クリッピーの基礎となる論理の研究に携わるマイクロソフト社所属の研究員に言わせれば、クリッピーが製品から削られることになっても、基になっている技術そのものは、将来のマイクロソフト社製品開発の基礎
グーグル、インテル、MSが注目するベイズ理論:スペシャルレポート - CNET Japan
今日のコンピュータ界を動かす18世紀の確率論 今日のコンピュータ界をリードする権威ある数学者の１人であるThomas Bayes（トーマス・ベイズ）は、他の数学者と一線を画する。ベイズは神の存在を方程式で説明できると主張した人物だ。そんな彼の最も重要な論文を出版したのはベイズ本人ではなく他人であり、また、彼は241年前に亡くなっている。 ところが、なんとこの18世紀の聖職者が提唱した確率理論が、アプリケーション開発の数学的基礎の主要な部分を占めるようになっているのだ。 上記数式はベイズの定理を示したものである。難解な記号の羅列に見えるかもしれないが、大雑把に言うと何かが起こる可能性はその事柄の過去の発生頻度を使ってほぼ推測ができるということだ。研究者はこの考え方を遺伝子研究から電子メールの選別にまで応用しようとしている。 ベイズ定理の数学的な詳細説明はミネソタ大学のウェブサイトに掲載されて
Perlでベイジアンフィルタ - Shanghai.LOG - 上海ログ
Perlでシンプルなベイジアンフィルタを作ってみました。ベイジアンフィルタ を倣って、ベイズ確率で歌詞を見分けるフィルタです。 アルゴリズムは ベイジアンフィルタについて のPaul Graham版そのまんまです。トークンはスペースで区切るのみですので日本語の歌詞では使えません。英単語のstem化もしていません。（レポート用に作ったのでちょっと手抜きですいません。） 実験してみると、一応動きました。学習させたのは、カーペンターズの歌詞とメタリカの歌詞ｗ。曲数がそこそこあって、個性の離れているアーティスト2組を適当に選んだだけ。メタリカをスパムとして、学習には100曲ずつ使い、学習に使わなかった曲で実験しました。結果は、 スパム認識率（メタリカを正常に認識）97%（29件中28件） 見逃しは1件でした。 スパム誤認識（カーペンターズをメタリカと認識）8%（97件中8件） 誤認識が多いですが、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...