Bayesian Computation With R
Website for the book Bayesian Computation With R by Jim Albert ISBN: 978-0-387-71384-7 Second Edition is now available. Order from the Springer website. Table of Contents An Introduction to R Introduction to Bayesian Thinking Single-Parameter Models Multiparameter Models Introduction to Bayesian Computation Markov Chain Monte Carlo Methods Hierarchical Modeling Model Comparison Regression
the Voynich Manchuscript a mystery
The Natural Language Group at the USC Information Sciences Institute conducts research in natural language processing and computational linguistics, developing new linguistic and mathematical techniques to make better technology. We have a wide range of ongoing projects, including those related to statistical machine translation, question answering, summarization, ontologies, information retrieval
Naive Bayesの罠 - EchizenBlog-Zwei
< Naive Bayesの実装 < | > ---- > ================================================ Naive Bayes(NB,ナイーブベイズ)には気になる事があるよ、という話。前回、文書{バナナ,カレー}が「甘い」クラスと「辛い」クラスそれぞれに属する確率(対数尤度)をナイーブベイズ分類器で求めた。 その結果、文書{バナナ,カレー}は「辛い」クラスに属することがわかった。しかしバナナもカレーも「甘い」クラスに入っているのに「辛い」クラスのほうが対数尤度が大きいというのはちょっと直感に反するかもしれない。以下ではこの点について考察する。 前回求めた対数尤度の計算式は以下の通り。 lnP(甘い|{バナナ,カレー}) = lnP(カレー|甘い) + lnP(バナナ|甘い) + lnP(甘い) = 0.69 + 0.69 - (2 -
Bayesian Setsによる関連文書検索システムStupa - mixi engineer blog
都会よりも田舎が好きなfujisawaです。Bayesian Setsというアルゴリズムを使って、関連する文書を高速・高精度に検索できるシステムを作成しましたので、そのご紹介をさせていただきます。 Bayesian Setsとは Bayesian Setsはいくつかアイテムを入力すると、それを補完するようなアイテムを返してくれるアルゴリズムです。原著論文の先頭に"Inspired by Google Sets"と書かれているように、Google Setsを参考にして作成されています。実際にどのような出力が得られるか、Google Setsに以下の表のクエリを検索して試してみますと、 クエリ 出力 apple, banana chocolate, strawberry, vanilla, cherry, ... apple, macintosh software, windows, mac,
Markov and You
11 Jun 2008 Markov and You In Finally, a Definition of Programming I Can Actually Understand I marvelled at particularly strange and wonderful comment left on this blog. Some commenters wondered if that comment was generated through Markov chains. I considered that, but I had a hard time imagining a text corpus input that could possibly produce output so profoundly weird. So what are these Markov
Better Bayesian Filtering
January 2003 (This article was given as a talk at the 2003 Spam Conference. It describes the work I've done to improve the performance of the algorithm described in A Plan for Spam, and what I plan to do in the future.) The first discovery I'd like to present here is an algorithm for lazy evaluation of research papers. Just write whatever you want and don't cite any previous work, and indignant re
livedoor Techブログ : YAPC::Asia 2008 で発表してきました
こんにちは。nabokov7 です。YAPC::Asia 2008で発表してきましたので、その資料を公開します。 ライブドアでは、各サービスで共通に使える内部サービスをいくつか独自開発しています。そのうちのひとつが、今回紹介した共通スパムフィルタ「スパムちゃんぷるー」です。ライブドアブログやライブドアwiki、したらば掲示板などのスパム書き込みのフィルタリングを共通化するために開発したものです。 これにより、スパム判定のロジックが一元化され、統計情報、ブラックリスト、ホワイトリストなどが共有できるようになります。また、過去の判定結果から学習する機能もあります。 スパム判定の基準は各サービス、あるいはユーザ毎の設定によっても変わってくるので、判定ロジックはプラグイン形式になっており、判定時にはこれらのプラグインが並列で動作する仕組みになっています。リクエスト時に必要なプラグインを指定し、任意
AI::Categorizer::Learner::NaiveBayes
NAME AI::Categorizer::Learner::NaiveBayes - Naive Bayes Algorithm For AI::Categorizer SYNOPSIS use AI::Categorizer::Learner::NaiveBayes; # Here $k is an AI::Categorizer::KnowledgeSet object my $nb = new AI::Categorizer::Learner::NaiveBayes(...parameters...); $nb->train(knowledge_set => $k); $nb->save_state('filename'); ... time passes ... $nb = AI::Categorizer::Learner::NaiveBayes->restore_state('
Algorithm::NaiveBayes
NAME Algorithm::NaiveBayes - Bayesian prediction of categories SYNOPSIS use Algorithm::NaiveBayes; my $nb = Algorithm::NaiveBayes->new; $nb->add_instance (attributes => {foo => 1, bar => 1, baz => 3}, label => 'sports'); $nb->add_instance (attributes => {foo => 2, blurp => 1}, label => ['sports', 'finance']); ... repeat for several more instances, then: $nb->train; # Find results for unseen instan
ベイジアンフィルター Perlで作りたい人に教えてあげたいちょっとしたこと - プログラマでありたい
昨日のはてなのホットエントリーに『入門ベイズ統計』の読みどころという記事が載っていました。ベイズ理論の人気は根強いですね。 ベースとしての数式は割とシンプルなので、自分で実装してもそれ程手間は掛からないかもしれません。しかし、CPANのモジュールとして提供されているので、そちらを使用するのも良いかと思います。私が知っている所では、Algorithm::NaiveBayesが簡単で使いやすかったです。 昔書いたコードですが、下のサンプルでは簡単なスパムフィルターを作っています。spam.txtとham.txtは、それぞれのコーパスを形態素解析して作った単語のみのリストです。test.txtは、判定したい文章から抽出した単語のリストです。スパムとハムの量を増やせば、これだけでも割と使い物になります。 応用例としては、スパムとハムの2種類のカテゴリだけではなく、複数種類のカテゴリを作ればブログの
Naive Bayesian Text Classification
Naive Bayesian Text Classification By John Graham,Cumming, May 01, 2005 Spam filtering may be the best known use of naïve Bayesian text classification, but it's not the only application. Paul Graham popularized the term "Bayesian Classification" (or more accurately "Naïve Bayesian Classification") after his "A Plan for Spam" article was published (http://www.paulgraham.com/spam.html). In fact, tex
Main Page - Math Images
NCTM Illuminations Illuminations are our one of our most popular PreK-12 resource being used in the classroom each year. Browse our collection of more than 700 lesson plans, interactives, and brain teasers. Here are some of our most popular interactives, according to our users! Isometric Drawing Tool Ten Frame Factor Game Product Game Notice and Wonder When students become active doers of mathemat
A Plan for Spam
August 2002 (This article describes the spam-filtering techniques used in the spamproof web-based mail reader we built to exercise Arc. An improved algorithm is described in Better Bayesian Filtering.) I think it's possible to stop spam, and that content-based filters are the way to do it. The Achilles heel of the spammers is their message. They can circumvent any other barrier you set up. They ha
How to Write a Spelling Corrector
One week in 2007, two friends (Dean and Bill) independently told me they were amazed at Google's spelling correction. Type in a search like [speling] and Google instantly comes back with Showing results for: spelling. I thought Dean and Bill, being highly accomplished engineers and mathematicians, would have good intuitions about how this process works. But they didn't, and come to think of it, wh
Bayes Classification in Ruby - igvita.com
By Ilya Grigorik on May 23, 2007 The Family Guy saga continues. A few days ago the editors of the fan site decided to add a new section: favorite quotes. The users responded with enthusiasm, and began submitting hundreds of their favorite gems. Needless to say, the editors were overwhelmed and decided to invite the engineers to pitch in and help sort through the submissions. Of course, after about
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.com: Introduction to Applied Bayesian Statistics and Estimation for Social Scientists (Statistics for Social and Behavioral Sciences): Lynch, Scott M.: Books
Amazon.com: Introduction to Bayesian Statistics: Bolstad, William M.: Books
Logan Koester
GitHub - sausheong/naive-bayes: Simple naive bayesian classifier implemented in Ruby
Lingua::JA::Categorize