PRML副読本「パターン認識と機械学習の学習」を出版します | TAKESAKO @ Yet another Cybozu Labs
2010年～2011年に社内で開催した機械学習勉強会の『パターン認識と機械学習』読書会で、光成さんが素晴らしいアンチョコを作ってくれました。PDFファイルは既にgithub 上で公開されていますが、このまま埋もれさせておくのはもったいないということで、暗黒通信団の同人誌として正式に出版されることが決まりました。 ※ 表紙のデザインは今後変更される可能性があります。 目次は以下の通りです。 第 1 章 「序論」のための確率用語 1.1 確率変数は変数なのか.............................. 7 1.1.1 確率空間(Ω, F, P)............................. 7 1.1.2 σ 加法族..................................... 8 1.1.3 確率変数X..........
PRML revenge #2 - White scenery @showyou, hatena
なんかSlideshare埋め込めないので資料のリンク置いておきます。 http://www.slideshare.net/showyou/plot-beta-dist-4353237 本日発表予定のデモLTの内容です。R使えば1分でベータ分布とか書けます。pythonでももうちょい時間かかりますが同じように書けます。超初心者向け。 細かい感想。今回の重要なポイントって、個々の関数より「どういったモデルを定義して」「どういう尤度関数を定義して」「どういう共役事前分布を使う」かによる気がする。例えば自然発生？っぽいモデルにして混合ガウス分布を尤度関数、共役事前分布にガウス-ガンマ分布を使うとか、1 of Kのモデルとして多項分布を尤度関数にして共役事前分布にDirichlet(ディリクレ)分布使うとか(この辺適当)。下巻やっててとにかく共役事前分布とかDirichlet分布とか飽きるほど聞い
変分ベイズ、入門編 - yasuhisa's blog
PRMLゼミはMCMCの付近が一段落しまして、変分ベイズに突入しようとしています。いや、グラフィカルモデルに行ってもいいんだけど、図式化することによって変数間の関係が見やすくなる以上の御利益がよく分からないのです(誰か御利益を教えて＞＜)。というわけで、いまいちモチベーションが沸かないままやっても仕方がないので、変分ベイズです。 変分ベイズはEMアルゴリズムの一般化から自然な流れで出てくる、というのは以前書きました。 d.hatena.ne.jp 完全にベイズ的な枠組みで考えたい、ということですね。MCMCを使って問題に立ち向かうこともできるけど、とにかく時間がかかりがちなのがネック。そこで、同時分布を積の形に分解できると仮定して、積分ができる形に持っていきましょう、というのが変分ベイズの基本的な考え方。基本的にはEMアルゴリズムの拡張でありますから、尤度関数をKLダイバージェンスと、下界
PRML 読書会 #9 資料(関連ベクトルマシン) - Mi manca qualche giovedi`?
「パターン認識と機械学習」(PRML)読書会 #9 で担当する 7.2 章の資料です。 いつもついつい資料を作り込んでしまってたけど、今回は念願の「資料はアジェンダ＋疑問点のまとめ」「板書メイン」になる予定。 7.2 関連ベクトルマシン SVM(support vector machine) と RVM(relevace vector machine) の対比 SVM RVM 疎 もっと疎 ２値 確率 半正定値 正定値性不要 凸 非凸 O(N^2) O(N^3) 交差検定とか ARD サポートベクトル＝マージン境界上 関連ベクトル＝境界から離れた位置にも 7.2.1 回帰問題に対するRVM 【３章の復習】ベイズの枠組みでの線形回帰 1. モデル(条件付き確率) p(y|x,w,β) = N(y|w^T φ(x), β^-1) 2. 事前確率 p(w|α) = N(w|0, α^-1) 3.
PRML 読書会 #8 「カーネル法」 - 木曜不足
毎度おなじみ 「パターン認識と機械学習」(PRML)読書会 #8 に のこのこ行ってきた。 お疲れ様でした＞各位。 会場が陸の孤島(!)だったので自転車かついで行ったら、前々日くらいまでは晴れの予報だったのに、夕方から雨になって……とほほ。 気を取り直して。 いよいよ PRML 下巻に突入。 ６章の「カーネル法」が今回の範囲なのだが、何回か読んだんだけどいまいちよくわからなかった。 「カーネル法は便利なんだろうな」ということはわかる。でもそれだけ。 ガウス過程による回帰を実装してみて、式の流れはある程度わかってきたけれど、それは理解をしたと言うこととはちょっと違うので。 「カーネル関数はなんでもいい」と言っているけれど、「なんでもいい」は何も言っていないのと同じだから、だろうか(しかも、実際にはもちろん何でもいいわけがなく、この場合にはこのカーネルがいい、あの場合にはあのカーネルが隠し味、
PRML読書会#7 資料「5.7 ベイズニューラルネットワーク(1)」 - 木曜不足
これは パターン認識と機械学習(PRML)読書会 #7 (5章 ニューラルネットワーク 後半) での発表用の資料「5.7 ベイズニューラルネットワーク」です(作成中)。 はてＰ でプレゼン資料になります。 論文読むときに役立つよう、用語は英語で書いたりしてます。細かい説明/計算やサンプルは読書会にて板書します。 資料その１ 資料その２ 資料その３ ベイズニューラルネットワーク 「周辺化」が必要 ← 解析的に評価するのが難しい 極度に非線形 事後確率の対数は非凸 誤差関数は複数の局所的極小点を持つ アプローチ 変分推論法(10章) ラプラス近似(本章) (★「最も完全に取り扱う方法」だって？ p165 には「ラプラス近似は確率分布の構造をうまく捉えることができず、近似性能はあまり良くない」とも書いてあるんだけど ⇒ 「もっとダイレクトに取り扱う方法」くらいの意味？*1 ) 5.7.1 パラメ
PRML 1章後半 - NEXT LEVEL
今日の輪講の担当はオレでした 信じられない読み間違いもあり（デルタをさんかｋ(ry））規定時間もオーバーしたりでダメでした 次元の呪い 実データは高次元において低い次元に限定されることが多いらしく、イメージとしては特定の次元に集まっているということなのだが、本当にそうなのかは結局のところ分からないので、カーネルを使う場合には最良のものを探すために色々試さなければいけないらしい 決定理論 「わかりやすいパターン認識」でもこの手の話はたくさんされていたのだが、何故これを考えなくてはならないのかという基本的なことを考えていなかった サポートベクターとか単に識別を行うだけなら、事後確率とか損失とかそんな話は必要なく、単に空間にズバッと線（面）を引けばいい話 でも実際の世の中では、線（面）を引ければよいでは済まされない問題も数多くある 例えば「ここからは得をして、ここからは損失をする」という境界線が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Sites: Sign-in