PRMLで使われるデータセットの（現在有効な）入手先 - naoya_t@hatenablog
PRML 12章の実装試してみたいけど、Oil Flowデータの配布ページが無くなってるんだよなあ、とあきらめてた。でもがんばって探したらwebarchiveから拾えた。tar.gzファイルまでアーカイブしてあるなんて……。すごすぎ。欲しい人いる？ 再配布したらまずい？ 2010-05-24 @shuyo Nakatani Shuyo Oil Flowデータの配布ページがずっとリンク切れのままなのですよね… それ以外のデータはBishop先生のリンクからひと通り手に入るけど紹介を兼ねて。 Handwritten Digits - 手書き数字（MNISTデータ集合） The MNIST digits data are available from Yann LeCun’s MNIST page, which also contains a detailed description of th
速水桃子「パターン認識と機械学習入門」
250. Reference "Pattern Recognition and Machine Learning" Christopher M. Bishop Springer; 1st ed. 2006. Corr. 2nd printing edition (October 1, 2007) "Truth and Probability" Frank Plumpton Ramsey (1926) "The physical basis of IMRT and inverse planning" S Webb British Journal of Radiology (2003) 76, 678-689 251. Wikipedia 渡辺慧 http://ja.wikipedia.org/wiki/%E6%B8%A1%E8%BE%BA%E6%85 %A7 『No Free Lunch T
PRML ガール 〜とある文芸部の統計女子〜 - 木曜不足
これは「PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜」の幕間的なお話です。 未読の方は先にそちらをどうぞ。 PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜 - 木曜不足 「先輩、先輩。我らが PRML ガールの評判聞きました？」 「聞いてない」 「やっぱり気になりますよねえ。ねえ？」 「僕は別に」 「……」 「……わかったわかった。どんな評判なの？」 「評判というか苦情ですかね。『 PRML ガール言うくせに PRML 関係ないやん！』みたいな」 「まあ、情報量とエントロピーの話しかしてないし」 「『あとがきがわりの AC ガール』（暗黒通信団刊行の書籍『PRML ガール』に収録）に至っては選択公理ですからねえ。そんな評判を跳ね返すためには、紛れもなく PRML ってテーマをここらで一発取り扱っておくべきなんじゃない
PRML 読んでやってみた（下巻編） - 木曜不足
昨日の記事を書いて、そういえば「パターン認識と機械学習」(以下 PRML) 上巻については「やってみた」「試してみた」系の記事をまとめページを作っていたことを思い出した。 PRML 読んでやってみた（上巻編） http://d.hatena.ne.jp/n_shuyo/20100505/prml そして、これの下巻編を作るの忘れてたので、ここにまとめておこう。 基本的には PRML を読む中で、本当にそうなのかなというあたりを手を動かしてみて確かめてみたという内容。実装は主に R で、たまに Python + numpy を使っている。 専門でない人間がやっているわけで、いろいろ間違っているかもしれない点はあらかじめ(実際、変分ベイズのときは盛大に間違えてた)。 6章 カーネル法 PRML６章「ガウス過程による回帰」を R で試す http://d.hatena.ne.jp/n_shuyo
PRML 10章の変分ベイズによる混合ガウス分布推論の検証（フォロー編) - 木曜不足
「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくてもいいよ』とか書いてあるけど全然縮退しないよ。ベイズ職人でないとうまくいかないらしいよ」 「初期値について『対称性から、通常 m_0=0 とおく』と書いてあるけど、ほんとに m_0=0 にしたら、全パラメータが k に対して同じ値になっちゃうよ」 と言いふらしていたら、スクリプトのバグだった。 ので、罪滅ぼしにまじめにもうちょっといろいろ検証してみたよ、というお話。 経緯 変分ベイズ実装(PRML 10.2) https://shuyo.hatenablog.com/entry/20100306/variatio
CVB0へようこそ！ - Bag of ML Words
ここではMachine Learning Advent Calendarの一記事として、ベイズ推論の研究者の間で少しだけ認知され始めたCollapsed Variational Bayes(周辺化変分ベイズ、CVB)にもとづく推論のお話をします。 なお、私はあくまでユーザとしてCVBを使っているだけです*1。でも、多分間違ったことは書いていないと思います。もし間違ってたら教えていただけると嬉しいです。 そもそも確率的生成モデルとかが分からない方はPRMLや統数研の公開講座「確率的トピックモデル」の 資料などをご覧ください。 CVBのご利益 まずは、既存のベイズ推論手法に対してのadvantageです。 高精度: 理論的には大域解を得られるはずのGibbs samplerに比しても、だいたい同程度、しばしばより良い解が得られます 収束が早い: 多くの場合、素早く収束します 実装が簡単（比較級
PRML 読書会 #13 １０章 近似推論法(変分ベイズ) - 木曜不足
参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 4/10 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #13＠サイボウズ・ラボ に参加しました。各位お疲れ様でした。 今回のテーマは１０章の変分推論(変分ベイズ)。監訳者のしましま先生からも「PRML本で最も恐ろしいところ」とお墨付きをもらっているほどの鬼計算の章。 10.2.1 の混合ガウス分布を変分ベイズで推論する例のところを担当した。 発表資料 10.2-10.2.1 例：変分混合ガウス分布、資料後半 by id:n_shuyo 10.2.2-10.2.5 変分下限*1〜導出された分解 by wk さん 10.3 変分線形回帰 by id:tsubosaka さん 10.4-10.5 指数型分布族〜局
Prml 10 1
1. PRML 読書会 (第12回) 10.1 変分推論 坪坂正志 Hatena/twitter id: tsubosaka Mail: m.tsubosaka@gmail.com 2. 2010/3/7 PRML読書会 第12回 2 第10章 近似推論法 • 観測データ������が与えられたときの潜在変数������の事後分布 ������(������|������)を求める • 完全にベイズ的なモデルでは未知パラメータにも事前分布が与えられ、 潜在変数ベクトルの中に含まれている • EMアルゴリズムでは完全データの対数尤度の期待値を隠れ 変数の事後分布に沿ってとった • しかし、事後分布を求めることや期待値を計算することが不可能な事が 多い • Ex: 次元が高すぎて空間全体を直接扱えない、期待値が解析的に計算 できない… • 近似法を用いて事後分布を求める 3. 2010/3/7
機械学習 はじめよう 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
一般化線型モデルと乱数 - Triad sou.
ちょっとだけ勉強したのでメモしておこう。 一般化線型モデル まず、確率変数ベクトル $\mathbf{Y}$ の期待値ベクトルを \[ \boldsymbol\theta=\mathrm{E}(\mathbf Y) \] と書いておきます。 一般化線型モデルと呼ばれている統計モデルでは、 \[ g(\boldsymbol\theta)=\mathbf{X}\boldsymbol{\beta} \] と呼ばれる期待値の構造を仮定していたと思います。 ここで、リンク関数 $g$ には、逆関数がちゃんと存在する常識的なものを用います。 理論的な話をきちんと知りたい場合は、位置/尺度パラメータを持つ指数型分布族における正準リンク関数 (canonical link function) について勉強する必要があります (McCullough and Nelder 1989 など)。 逆関数があれば、
PRML 8.2 条件付き独立性
4. 条件付き 性 (1) • 変数a, b, cを考える．bとcが与えられたときに，aの 条件付き分布がbの値に依存しない p (a | b, c) = p(a | c) ⇒ cが与えられた下で，aはbに対して条件付き 3 5. 条件付き 性 (2) • cで条件付けられたaおよびbの同時分布を考える p(a,b)=p(a|b)p(b) p(a, b | c) = p(a | b, c) p(b | c) = p(a | c) p(b | c) ⇒ cが与えられたとき，aおよびbが 的に である 記法： a b|c cが与えられた際に，aがbに対して条件付き 4 6. 演習8.8 • a b, c | d ならば a b|d 解) p ( a , b , c | d ) = p ( a | d ) p (b , c | d ) cについて周辺化 p ( a , b | d ) = p (
PRML読書会10回: 第8章グラフィカルモデル (前半) - シリコンの谷のゾンビ
PRML読書会第10回に参加してきました．今回は8章グラフィカルモデルの前半を勉強しました． 自分が担当した資料 (8.2節 条件付き独立性) を公開します． PRML 8.2 条件付き独立性View more documents from sleepy_yoshi. 条件付き独立性では，グラフィカルモデルにおいて，特に有向分離基準と呼ばれる経路遮断の原理から，条件付き独立性について解説しています．今回は内容が平易だったので，きちんと基本的なところから説明するように心がけました．前回，前々回の猛省を少しは活かせたと思っています． その結果，30分で終わるよと宣言して，1.5時間も喋ってしまいました． ベイジアンネットワークの話題では必ずといっていいほど出てくる? "explain away" は本書では「弁明」現象と翻訳されていました．あまりしっくりこなかったのでアンケートを取ることにしま
「パターン認識と機械学習(PRML)」 読書会 #10 (８章 グラフィカルモデル 前半) - 木曜不足
というわけで PRML 読書会 第10回 にも参加。 関係各位お疲れ様でした。 今回の第８章「グラフィカルモデル」は、最低限の必須前提知識が「確率の加法・乗法定理」だけ*1、計算式もほとんど無い(積分の具体的な計算は皆無！)。 途中参加するならココしか！ グラフィカルモデルは、漠然と語っていたモデルの特徴を可視化するためもの。 具体的には、 モデルの自由度を制御 パラメータを共有して減らす 潜在変数や「ハイパーパラメータの超事前分布」（ハイパーハイパーパラメータ？ｗ）を導入する 条件付き独立性の有無を判別 有効分離とか「弁明」とか などが紹介されている。 グラフィカルモデルで（たぶん）一番ややこしいのは、PRML の 73ページに書いてあるとおり「グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する」ということだろう。 つまり「線がつながっている」ことはその２つの
PRML 読書会 #9 資料(関連ベクトルマシン) - Mi manca qualche giovedi`?
「パターン認識と機械学習」(PRML)読書会 #9 で担当する 7.2 章の資料です。 いつもついつい資料を作り込んでしまってたけど、今回は念願の「資料はアジェンダ＋疑問点のまとめ」「板書メイン」になる予定。 7.2 関連ベクトルマシン SVM(support vector machine) と RVM(relevace vector machine) の対比 SVM RVM 疎 もっと疎 ２値 確率 半正定値 正定値性不要 凸 非凸 O(N^2) O(N^3) 交差検定とか ARD サポートベクトル＝マージン境界上 関連ベクトル＝境界から離れた位置にも 7.2.1 回帰問題に対するRVM 【３章の復習】ベイズの枠組みでの線形回帰 1. モデル(条件付き確率) p(y|x,w,β) = N(y|w^T φ(x), β^-1) 2. 事前確率 p(w|α) = N(w|0, α^-1) 3.
PRML６章「ガウス過程による回帰」を R で試す - 木曜不足
PRML 読書会 #8 が来週に迫る中。 カーネル法わからん…… ガウス過程わからん…… そもそも今回の会場無事たどり着けるかな…… ３つめの不安はとりあえず置いといて、わからんときは手を動かすしかない。 というわけで PRML 6.4.2 「ガウス過程による回帰」を R で試す。 訓練データは PRML のサンプルデータを使う。 # PRML's synthetic data set curve_fitting <- data.frame( x=c(0.000000,0.111111,0.222222,0.333333,0.444444,0.555556,0.666667,0.777778,0.888889,1.000000), t=c(0.349486,0.830839,1.007332,0.971507,0.133066,0.166823,-0.848307,-0.445686,-0
カーネル法とガウス過程（PRML下巻 第6章） - naoya_t@hatenablog
「ガウス過程」- PRML §6.4 ３年前、本レーンでこの辺りを読んだ頃には線形代数力が弱すぎて、というか行列式と式展開から何もイメージがつかめなくて、皆さんの空中戦発表を聞きながら式を書き写してるだけ、みたいな感じだったのを覚えている。あたかも理解できてるような事を喋れていれば「中国語の部屋」的アナロジーが使えるのだけれどそれにも到底及ばないような。 PRML読書会も３周目にもなると、突如PRMLが日本語で書いてあるように読めるようになる瞬間がある（実話）。※１周目、遅くとも２周目でそれが来ていれば復々習レーンは無かった。 とかちょっと前置きをしてみたのだけれど、本質的にこれは「グラフ描きたいだけのエントリ」である。 PRML読んでて一番楽しいのは図表の再現プログラムを書くこと— naoya tさん (@naoya_t) 11月 12, 2012 だから仕方がない。 本題に入ろう。 そ
Rで線形基底関数モデルの逐次ベイズ学習 - Qiita
PRML図3.7と同様に、線形基底関数モデルにおいて、1点ずつサンプルを観測して重みwの事後確率を逐次更新し、新たなwの事前確率とします。wの事前確率、観測したサンプルと新しいwの事後確率で生成した関数の例、観測したサンプルに対するwの尤度を、サンプルの観測ごとに描画します。 library(mvtnorm) frame() set.seed(0) par(mfcol=c(3, 6)) par(mar=c(2, 2, 1, 0.1)) par(mgp=c(1, 0.2, 0)) xrange <- c(-1, 1) yrange <- c(-1, 1) x1 <- seq(xrange[1], xrange[2], .05) x2 <- seq(yrange[1], yrange[2], .05) colors <- rainbow(450)[256:1] M <- 2 N <- 6 ba
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
独立性の仮定と平均場近似の関係 - あらびき日記
Amazon.co.jp： データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学): 久保拓弥: 本
SSSSLIDE
