多項式曲線フィッティング - 人工知能に関する断創録
PRMLをよく理解する&復習のために自分でもコーディングしていきます。Rを使っている方がいて（Rでベイズ線形回帰の予測分布）Rでやろうかなぁと思ったのですが慣れているPythonを使うことにしました。Pythonにも数値計算用のSciPyとNumPy、グラフ描画のmatplotlibというRに匹敵するライブラリがそろっています。デフォルトでは入っていないので別途インストールしてください。 まずは、PRML1.1の多項式曲線フィッティングです。いわゆる最小二乗法ってやつですね。観測値xとtの訓練集合から多項式曲線のパラメータwを求めるという課題です。まず、訓練データ集合から作ります。PRMLでは、sin(2πx)の関数値を計算したあとに、ガウス分布に従う小さなランダムノイズを加えて対応するtを作っています。Pythonだと下のような感じかな。 実行すると下のようなグラフが表示されます。PRM
ベイズ統計学(ベイズ確率・ベイズ推定) モンテカルロ
ベイズ確率・ベイズ推定を勉強してみる 概要 私の研究領域は、「画像処理における逆問題」という、今にして思えば手がけるんじゃなかったと後悔するような厄介なシロモノです。 以前読んだ論文の中で、減色した画像のカラーパレットを復元するという研究に、「最尤推定・ベイズ推定」というキーワードがありました。これは武器になるのか否か。一縷の望みを託して、専門書と向き合ってみました。 ですから、これは「私のノート」です。解説書ではないことをご承知願います。 ベイズ確率とは 客観確率に加えて主観確率をも含めた広義の確率をベイズ確率と呼ぶ。 客観確率: 母集団から観測あるいは想定された割合から導かれた、ランダムな事象が生起する頻度（一般的な認識としての確率） 主観確率: ある命題の尤もらしさ、あるいはその根拠となる信念・信頼の度合を表す数値 客観確率を基礎とする確率論は、ベイズ確率においても同様に適用できるこ
Bayes++ Bayesian Filtering
Bayes++ Open Source Bayesian Filtering Classes Michael Stevens Bayesian Filtering is a probabilistic technique for data fusion. The technique combines a concise mathematical formulation of a system with observations of that system. Probabilities are used to represent the state of a system, likelihood functions to represent their relationships. In this form Bayesian inference can be applied and fur
最尤推定、MAP推定、ベイズ推定 - 人工知能に関する断創録
1.2.5 曲線フィッティング再訪 1.2.6 ベイズ曲線フィッティング のところを実装してみます。前回は、最小二乗法で曲線フィッティングをしたけど、ベイズ的な方法で解こうって話のようです。この2つの節では、 最尤推定 最大事後確率（MAP）推定 ベイズ推定 という3つのパラメータ推定方法が曲線フィッティングという具体例で説明されてます。他の教科書では抽象的に定式化されていて違いがよくわからなかったけど、この章では曲線フィッティングという具体例に基づいて説明されているのでわかりやすいと感じました。 最尤推定 まず、最尤推定のプログラムです。実は、最尤推定で対数尤度（1.62）を最大化することは、最小二乗法の二乗和誤差関数E(w)の最小化と等価なのでwの求め方は最小二乗法（2010/3/27）とまったく同じです。 最尤推定では、目標値tの予測分布を求めるためもう1個予測分布の精度パラメータ（
AnyEvent::Twitter::Streamでベイジアンフィルタの様子を見る - メメメモモ
ツイートストリームをベイジアンフィルタでカテゴリ分けしていく様子を見てみました。 カテゴリとしてハッシュタグを利用します。 ハッシュタグが付いているツイートは、フィルタの学習テキストとなります。 ハッシュタグが付いていないツイートは、どのハッシュタグに近い内容となっているのかを推定します。 これを行なうプログラム。 use strict; use warnings;use lib './lib'; use utf8; use FindBin::libs; use Text::MeCab; use Classifier; use Classifier::Filter::DBI; use Encode; use Config::Pit; use AnyEvent::Twitter::Stream; use DBI; use DBIx::Class; my ($username, $passwo
ベイジアンってどういう考え方なんだろう - BayesWiki
主観確率 † ベイズ推定の世界では全ての確率は主観的な確率(subjective probability)だ とされます。 ふつう確率というのは対象の不確かさを示す量とされるのですが、 ベイズ推定では不確かさはその対象を観察するひとの知識に あるとされるわけです。 観察者のもつ不確かな知識のことを信念(belief)という名で呼ぶこともあります。 例えば、目の前のサイコロの1の目が出る確率 1/6 という数字を そのサイコロの性質である と考えるのが普通の見方。 観察者の知識（予測・信念・期待...どんな言葉で呼んでもいいけど） の不確かさの性質である と考えるのが主観確率の見方 ↑ 事前確率 † 観測者は、研究対象である確率変数 X に関して、 事前確率 P(X) をもっています。 事前確率(prior)とは 観測者が観測以前にもっている信念を確率分布関数で表現したものです。 男A：「や
事後確率と尤度（頻度主義とベイズ主義について）
---------------------------------------------------------- 事後確率と尤度――系統推定における最尤法とベイズ法の最前線 ---------------------------------------------------------- 尤度（likelihood）とはある仮説（モデル）のもとで観察されたデータが生じる確率を意味しています．以下では，この尤度が「ベイズの定理」と呼ばれているもののパーツを構成していることを示します．これは，系統推定の業界で「最尤法」に代わるものとして最近用いられ始めている「ベイズ法」を理解する要になります． ------------------------ ●「ベイズの定理」の導出 ------------------------ いま，観察データＤが与えられたとして，それを説明する対立仮説がＨi（ｉ
Complement Naive Bayesの検証
2. 1 はじめに 日々データが蓄積されていく CGM サービスにおいてドキュメントの整理・分類をすべて人手で行う ことは限界があるため、コンピュータによる精度の高い自動分類が求められている。 自動分類の世界では実装の容易さから Naïve Bayes でのアプローチが一般的となっているが、 2003 年に MIT より発表された Complement Naïve Bayes が精度の優秀さで注目されている。 Naïve Bayes と比較してどの程度の精度向上が見られるのか、検証を行った。 まず Naïve Bayes、Multinomial Naïve Bayes、Complement Naïve Bayes それぞれのアルゴ リズムについて簡単に解説した後、精度の比較を行う。 2 Naïve Bayes について まず、Naïve Bayes のアルゴリズムの仕組みと、Naïve B
『確率的発想法』 ベイズ推定のアイディアが何よりよくわかる！ | aki note
『確率的発想法』 ベイズ推定のアイディアが何よりよくわかる！最近のコメント 製造業の派遣労働禁止について疑問に思うこと に 派遣 より製造業の派遣労働禁止について疑問に思うこと に 派遣 - 知恵袋カレーパン よりたのしく読める・読ませる文章： BPM Story に Yamamoto より“劇場版マクロスF ~イツワリノウタヒメ” 見てきました に akipponn より“劇場版マクロスF ~イツワリノウタヒメ” 見てきました に まったん より 最近の投稿 『確率的発想法』 ベイズ推定のアイディアが何よりよくわかる！ フォトリーディングのあれこれ 今更またやってみています 『経済は感情で動く』 良書だけど・・・ ひとりじゃないよ～なプログラム Bridging Personal and Social Environment? 製造業の派遣労働禁止について疑問に思うこと アー
第11回 Kansai.pm / スペルミス修正プログラムを作ろう - naoyaのはてなダイアリー
昨日は第11回 Kansai.pm でした。 今回は無理を言って自分がホストを担当させていただきましたが、面白い発表が多く開催した自分も非常に満足でした。 PFI の吉田さんによる Cell Challenge での計算機に合わせたアルゴリズムのチューニング手法の発表 (発表資料) は圧巻でした。伊奈さんの本文抽出の話 (発表資料)、はこべさんのコルーチンの話 (発表資料)、いずれも難解になりがちなところを凄く分かりやすく解説されていて、さすがだなと思いました。各々ショートトークも、いずれも良かったです。 スペルミス修正プログラムを作ろう 自分も 20 分ほど時間をいただいて、スペルミス修正プログラムの作り方について発表しました。 スペルミス修正プログラムを作ろうView more presentations from Naoya Ito. スペルミス修正プログラムについてはずばり スペル
bsfilter / bayesian spam filter / ベイジアン スパム フィルタ
Subscribe to our newsletter to get daily updates about Programming and Spam Filtering.
僻地 - Bayesian Setの種明かし
Bayesian Setとは集合D_Cが与えられたとき、そこから「類推」して、元の集合C⊃D_Cに入る元xを(「自信」の度合いを表す数値つきで)求めるというもの。ただし、D_Cの元やxは特徴データ{c_i}をもっているとする。で、原論文を読むとΓ関数がずらずらでてきておどろおどろしいのだけれど、実はやっていることは簡単だということに気がついたので、書いてみる。簡単のために、特徴はあるかないかの2値的とする。(一般的には連続量も扱える。)すると、Bayesian Setのアルゴリズムがやっていることは、xについて観測された特徴c毎に重みwを足していくだけである。重みwはハイパーパラメーターα、βを使って,と書ける。ハイパーパラメータというと難しいそうだが、α_t = (Nc:D_Cでcをもつ元の数) + α、β_t = (N-Nc:D_Cでcを持たない元の数) + βと定めるので、α、βは先
グーグル、インテル、MSが注目するベイズ理論:スペシャルレポート - CNET Japan
今日のコンピュータ界を動かす18世紀の確率論 今日のコンピュータ界をリードする権威ある数学者の１人であるThomas Bayes（トーマス・ベイズ）は、他の数学者と一線を画する。ベイズは神の存在を方程式で説明できると主張した人物だ。そんな彼の最も重要な論文を出版したのはベイズ本人ではなく他人であり、また、彼は241年前に亡くなっている。 ところが、なんとこの18世紀の聖職者が提唱した確率理論が、アプリケーション開発の数学的基礎の主要な部分を占めるようになっているのだ。 上記数式はベイズの定理を示したものである。難解な記号の羅列に見えるかもしれないが、大雑把に言うと何かが起こる可能性はその事柄の過去の発生頻度を使ってほぼ推測ができるということだ。研究者はこの考え方を遺伝子研究から電子メールの選別にまで応用しようとしている。 ベイズ定理の数学的な詳細説明はミネソタ大学のウェブサイトに掲載されて
ベイズを学びたい人におすすめのサイト - download_takeshi’s diary
ベイジアンフィルタとかベイズ理論とかを勉強するにあたって、最初はなんだかよくわからないと思うので、 そんな人にお勧めのサイトを書き残しておきます。 @IT スパム対策の基本技術解説（前編）綱引きに蛇口当てゲーム？！楽しく学ぶベイズフィルターの仕組み http://www.atmarkit.co.jp/fsecurity/special/107bayes/bayes01.html いくつかの絵でわかりやすく解説してあります。 自分がしるかぎり、最もわかりやすく親切に解説してる記事です。数学とかさっぱりわからない人はまずここから読み始めるといいでしょう。 茨城大学情報工学科の教授のページから http://jubilo.cis.ibaraki.ac.jp/~isemba/KAKURITU/221.pdf PDFですが、これもわかりやすくまとまってます。 初心者でも理解しやすいし例題がいくつかあ
スペル修正プログラムはどう書くか
Peter Norvig / 青木靖 訳 先週、2人の友人(ディーンとビル)がそれぞれ別個にGoogleが極めて早く正確にスペル修正できるのには驚くばかりだと私に言った。たとえば speling のような語でGoogleを検索すると、0.1秒くらいで答えが返ってきて、もしかして: spelling じゃないかと言ってくる(YahooやMicrosoftのものにも同様の機能がある)。ディーンとビルが高い実績を持ったエンジニアであり数学者であることを思えば、スペル修正のような統計的言語処理についてもっと知っていて良さそうなものなのにと私は驚いた。しかし彼らは知らなかった。よく考えてみれば、 別に彼らが知っているべき理由はないのだった。 間違っていたのは彼らの知識ではなく、私の仮定の方だ。 このことについてちゃんとした説明を書いておけば、彼らばかりでなく多くの人に有益かもしれない。Googleの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
出たとこナントカ(仮)
はてなブログ | 無料ブログを作成しよう
8maki.jp
生物はベイズ推定しているか？ - BayesWiki
[PDF]始めよう！ベイズ推定による データ解析