PRML勉強会の発表資料公開しました。 自分の担当は10.1の変分推論のところでした。次回は10.2以降からでPRMLで計算が一番多いところなので予習を頑張らないとなといった感じです。 Prml 10 1View more presentations from tsubosaka.
PRML勉強会 - tsubosakaの日記
PRML勉強会の発表資料公開しました。 自分の担当は10.1の変分推論のところでした。次回は10.2以降からでPRMLで計算が一番多いところなので予習を頑張らないとなといった感じです。 Prml 10 1View more presentations from tsubosaka.
[機械学習] PRML Hackathon #2 - tsubosakaの日記
PRML Hackathonに行ってきました。 今回のHackathonでは昨日書いたスライスサンプリングという手法をLDAの推論に使ってみて通常のGibbs samplerと比較してみました。 結果としてはサンプリング速度が2-3倍程度高速になり、手法の有効性を確かめることができました。また、perplexityの値は Gibbs samplerよりも少し悪い結果となりました。(誤解を招く表現でした、詳しくは下に追記しました) Prml HackathonView more presentations from tsubosaka. 追記: perplexityの値が悪くなったというと変分ベイズのように近似が入って性能が悪くなる印象を与えますがそうではないです。 slice samplerはgibbs samplerと同様に十分な回数反復すれば正しい確率分布からのサンプルを取ることができ
![[機械学習] PRML Hackathon #2 - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/61691ac655baffe46c6259bb16f2070500c85eae/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124030051%2F1557332436)
EM アルゴリズム実装(勉強用) - 木曜不足
最近忙しくて*1、PRML の予習が滞り中。 しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん…… というわけで、Old Faithful の混合正規分布での推論を K-means と EM と変分ベイズについて、Ｒで実装してみる。 K-means Old Faithful + K-means については、すでに 前回の記事でお試し済み。 その記事では、イテレーションを１行で書いてネタっぽくしてしまってたので、わかりやすく整理したのが以下のコード。 距離を取るところは少し変えて短くしてある。 # Old Faithful dataset を取得して正規化 data("faithful"); xx <- scale(faithful, apply(faithful,
「パターン認識と機械学習」(PRML)読書会 #11 + R で K-means - 木曜不足
2/6 に 「パターン認識と機械学習」(PRML)読書会 #11 ＠サイボウズ・ラボに のこのこ行ってきました。お疲れ様＞各位 今回は８章「グラフィカルモデル」の後半＋９章の K-means まで。 sum-product(積和アルゴリズム) や max-sum で、グラフィカルモデルが周辺化や同時分布の大域最大解を求めるためのツールになる、というお話。 sleepy_yoshi さんの 8.4.1〜3 因子グラフ他の資料 nokuno さんの 8.4.4 sum-product の資料 8.4.5 max-sum の資料。 いつものように、気付いたことその他箇条書きで。 有向グラフを因子グラフに変換するために必要なモラル化の説明で、sleepy_yoshi さんの資料に超ナツカシ漫画が出てきて、ずっこけたｗ 断じてアメフト漫画ではありませんｗｗｗ ちなみに、件の漫画は男子校の友人から貸し
PRML読書会#11に参加しました - yasuhisa's blog
C.M.ビショップ「パターン認識と機械学習(PRML)」読書会（第11回） : ATND Logを見ていると半年振りくらいの参加だったようです。 今回の主な内容はグラフィカルモデリングということでid:sleepy_yoshiさん、id:nokunoさん、id:n_shuyoさんが説明してくださいました。9章もちょっと入ってid:idojunさんが説明してくださいました。みなさん大変分かりやすい説明でした。分かりやすい例あり笑いありなプレゼンで、自分も真似したい。 第11回PRML読書会: 第8章グラフィカルモデル (後半) - 睡眠不足？！ http://d.hatena.ne.jp/nokuno/20100206/1265467760 PRML 読書会 #11 資料(max-sum アルゴリズム) - Mi manca qualche giovedi`? この章を勉強する前までは「グラ
PRML読書会 #11 に参加しました - nokunoの日記
8.8.4節 積和アルゴリズムのところを発表しました。和と積の交換のあたりで説明がグダグダになってしまい、id:n_shuyoさんに助けていただきました。ありがとうございます！ 落ち着いて考えれば連鎖の場合と同じなんですよねー、それを周辺化のところと、因子→変数のところと、因子→変数のところで3回必要になるだけで。というわけで、今回の反省はスライド作っただけで満足しないでちゃんとしゃべる内容を考えて行くことと、iPhoneを充電しながらustreamするためにスタンドが必要ということですねｗ スライドPRML読書会 #11 8.8.4節 積和アルゴリズムView more presentations from nokuno. ソースコードおまけのPythonコードです。8.4.1「連鎖における推論」の実装を行いました。マルコフ連鎖における以下の機能を実装しています。 forward: 前向
「パターン認識と機械学習(PRML)」 読書会 #10 (８章 グラフィカルモデル 前半) - 木曜不足
というわけで PRML 読書会 第10回 にも参加。 関係各位お疲れ様でした。 今回の第８章「グラフィカルモデル」は、最低限の必須前提知識が「確率の加法・乗法定理」だけ*1、計算式もほとんど無い(積分の具体的な計算は皆無！)。 途中参加するならココしか！ グラフィカルモデルは、漠然と語っていたモデルの特徴を可視化するためもの。 具体的には、 モデルの自由度を制御 パラメータを共有して減らす 潜在変数や「ハイパーパラメータの超事前分布」（ハイパーハイパーパラメータ？ｗ）を導入する 条件付き独立性の有無を判別 有効分離とか「弁明」とか などが紹介されている。 グラフィカルモデルで（たぶん）一番ややこしいのは、PRML の 73ページに書いてあるとおり「グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する」ということだろう。 つまり「線がつながっている」ことはその２つの
ゼミ納め & EM、GEM（一般化EM）、VB(変分ベイズ） - 糞ネット弁慶
というわけでゼミ納め。 CiNii 論文 - EMアルゴリズムの新展開 : 変分ベイズ法 自然言語処理のための変分ベイズ法(pdf) 変分ベイズ学習 Variational Bayes Learning(pdf) EMアルゴリズム、GEM（一般化EM）、VB(変分ベイズ)の話をした。 変分ベイズは名前だけ聞くと仰々しいけどやってることは式変形はEMやGEMと同じノリだったので、EMとGEMの式変形を何度か追えば納得できる感じ。 超大雑把な流れとしては 最適化とか使わないで最尤推定したい！→EMで値を更新していこう EMじゃ計算が糞めんどくさい項がある！→を使ってを近似しよう！（GEM） でもこれだけじゃ満足できない！！！！ 過学習とか起こりそう… モデル構造とか↑の2つじゃ決められなさそう… と言うことで、パラメータやモデル構造を確率変数として学習するベイズ学習ならいけそう！（変分ベイズ
第9回PRML読書会 - 遥かへのスピードランナー
土曜日はサイボウズ・ラボで行われた第9回PRML読書会に参加しました。 自分は発表者トップバッターでSVMの基本的なところを説明しました。 参加者の方からもいろいろ指摘をいただきました。 なぜマージンを最大化するとよいのか？の説明で『まず２値に分類された学習データをガウスカーネルでのParzen推定を適用して入力の分布を推定する。誤分類が最小になる分類平面は、ガウスカーネルの分散を→０の極限において、マージンを最大化する分類平面に一致する』とあるが、なぜ分散を０に近づけるのかがわからない。 そういうものとして理解するしかない？理論的な説明はまだ分からずです。。 Randomized Algorythmを適用してSVMの計算を高速化する手法がある。 ちょっとググってみたところこの辺ですかね。いろいろと制約はるみたいですがO(log n)で二次計画問題の近似解が求まる！ biasをゼロと仮定し
Rでガウス過程による分類を実装 - 遥かへのスピードランナー
PRMLの6.4.5〜6.4.6の範囲にあるガウス過程による分類をRで実装してみました。 ソースコード全文はgithubにアップしています。 http://github.com/thorikawa/prml/blob/master/gaussian_process_classify.R ここでは例として、(1,0),(2,0),(3,0)で1、(0,1),(0,2),(0,3)で0の値を取る訓練集合を用いています。 # Training data x=list(c(1,0),c(2,0), c(3,0), c(0,1), c(0,2), c(0,3)) t=c(1,1,1,0,0,0) training_data_num <- length(x) この訓練集合とカーネル関数をもとに予測分布を導出しています。 ガウス過程においては、訓練集合から予測分布を決める（ほぼ）唯一の要素はカーネル関数
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[機械学習] PRML勉強会発表会資料 - tsubosakaの日記![[機械学習] PRML勉強会発表会資料 - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/31fab808546f7d81456a2c8e73a474c570d60eeb/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124030401%2F1557332442)
nokuno 02/05/10 09:22PM, nokuno 02/05/10 09:22PM nokuno on USTREAM.
はてなブログ | 無料ブログを作成しよう
