おつかれさまです．今回は簡単なメッセージ受信数のデータを使って，変分ベイズによる変化点検知をやってみたいと思います．なお，今回使うデータやモデルは下記のPyMCの入門書を参考にしています*1. Pythonで体験するベイズ推論-PyMCによるMCMC入門-キャメロン-デビッドソン-ピロン この本では推論にMCMCを使っていますが，今回はモデルはそのまま流用し，同じことを実現する変分ベイズによる近似推論を導いてみます． 一般的には変分ベイズの方が計算が高速なので，MCMCの性能に満足できない場合などは変分ベイズは良い代替手法になり得ます．また，今回紹介する例は，過去に紹介した混合モデルを使った例よりも比較的シンプルですので，変分ベイズの入門題材にはちょうど良いんじゃないかと思っています． MCMCによる変化点検知 ・メッセージ受信データ PyMC本では次のような「ある期間で受信したメール数」
統計学における平均場近似 - つれづれな学習帳
統計学における変分法に興味を持ってしまったため、変分ベイズの前に必要な平均場近似について勉強したことをまとめます。参考書は主に渡辺澄夫先生の解説文で、残りの部分は『計算統計 I 』や樺島先生の論文を参考にしました。『パターン認識と機械学習（下）』にも説明があります。 『物理学者でない人のための統計力学（渡辺澄夫先生）』 （参考にさせて頂いた資料は直接リンクできなかったので、代わりに同じ内容とおもわれるもののリンクをのせています。検索するとより詳細な資料が見つかります。） 『グラフィカルモデルと平均場近似（樺島祥介先生）』 （計算統計Iの平均場近似の箇所とほとんど同じです。） 計算統計 I―確率計算の新しい手法 (統計科学のフロンティア 11) 作者: 汪金芳,手塚集,上田修功,田栗正章,樺島祥介,甘利俊一,竹村彰通,竹内啓,伊庭幸人出版社/メーカー: 岩波書店発売日: 2003/06/13
変分ベイズとは? 平均場近似、変分推論、ベイズ学習など様々な呼び方があります。 フリーで読める解説だとこれが一番わかりやすかったです。 自然言語処理のための変分ベイズ法 http://www.ism.ac.jp/~daichi/paper/vb-nlp-tutorial.pdf CiNiiユーザならこのシリーズがおすすめです。 ベイズ学習[I] : 統計的学習の基礎 http://ci.nii.ac.jp/naid/110003230932/ PRML関連のまとめ PRMLの第10章が変分ベイズについての話です。 とても詳しく説明されているのですが、かなり難し目です。 なのでそこを解説した記事のまとめです。 PRML 読書会 #13 １０章 近似推論法(変分ベイズ) - Mi manca qualche giovedi`? http://d.hatena.ne.jp/n_shuyo/201
本記事の内容は新ブログに移行されました。 新しい記事へ こちらのブログにコメントをいただいても ご返信が遅れてしまう場合がございます。 予めご了承ください。 ご質問やフィードバックは 上記サイトへお願い致します。 今回は，確率モデルの潜在変数・パラメータの事後分布を求めるための繰り返し近似法である変分ベイズ法（Variational Bayesian methods）の解説とPythonで実装する方法をお伝えしていこうと思います。 本記事はpython実践講座シリーズの内容になります。その他の記事は，こちらの「Python入門講座/実践講座まとめ」をご覧ください。また，本記事の実装はPRML「パターン認識と機械学習＜第10章＞」に基づいています。演習問題は当サイトにて簡単に解答を載せていますので，参考にしていただければと思います。 【目次ページ】PRML演習問題解答を全力で分かりやすく解説
機械学習のPythonとの出会い（１）：単純ベイズ基礎編
Statistics Favorites 0 Downloads 0 Comments 0 Embed Views 0 Views on SlideShare 0 Total Views 0 機械学習のPythonとの出会い（１）：単純ベイズ基礎編 — Presentation Transcript 機械学習のPythonとの出会い (1) 単純ベイズ：入門編 神嶌 敏弘 ( http://www.kamishima.net/ ) Tokyo.Scipy #4 (2012.06.18) 1 自己紹介• 専門について • 機械学習やデータマイニングが専門と名乗ってます • PRML本とか翻訳しましたが，変分ベイズとか，MCMC とか複雑 なことは全然してません • 手法を深掘りすることよりも，新しい問題設定を考えて，できるだ け簡単な方法で解くようにしたいと思ってます• NumPy / Sc
この記事について ノンパラメトリックベイズは分かりやすいチュートリアルは良く見かけるのですが、そこから一歩進んだ(日本語の)資料に行きつけなかったので、色々と論文読んで簡単に(数式を出さないで)まとめてみます。 ぶっちゃけるとCollapsed Variational Dirichlet Process Mixture Modelsの簡単な要約です。 あまり自信がないのでもし間違ってたりしたらご指摘お願いします。 前の記事よりはまともな説明ができれば...と思います。 Infinite Gaussian Mixture Model (IGMM) の情報まとめ - old school magic 事前知識としてノンパラベイズと変分推論の知識が必要ですが、ノンパラベイズは持橋さんの分かりやすい解説があるのでご紹介します。 最近のベイズ理論の進展と応用 (III) ノンパラメトリックベイズ デ
変分ベイズ法の説明
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。Read less
変分近似（Variational Approximation）の基本（１） - 作って遊ぶ機械学習。
初回の記事で変分近似はけっこう重たいのですが、今後ここで頻繁に使っていこうと考えているのでとりあえずご紹介です。 変分近似（variational approximation）とは、確率分布を近似的に求める方法のひとつです*1。一般的には確率分布を求めるには正規化（積分して１になるようにする）しなければならないのですが、複雑な分布（例えば潜在変数モデルの事後分布）になってくると、どうしても解析的に積分ができなくなってしまいます。変分近似ではこのような複雑すぎて正規化できないような確率分布を、もっとシンプルな確率分布たちの積に分解する（＝独立性を仮定する）ことにより近似します。分解を仮定することによって変数の依存関係を簡略化し、数値最適化でいうところの偏微分を使った勾配法と似たようなことが確率分布の推論に対しても行えるようになります。 これが使えるようになると、様々なデータサイエンスの課題に
変分法をごまかさずに変分ベイズの説明をする - StatModeling Memorandum
StanでADVIが使えるようになったので、変分ベイズの基礎は抑えておきたいなぁと思って最近学んでいました。自分向けのメモとして残します。 対数周辺尤度・変分下限・KL情報量 目的は事後分布の最もよい近似となるを求めることです。にはあとで因子分解可能という条件を入れます。 イエンセンの不等式を使って、対数周辺尤度を下から評価すると、 を変分下限と呼びます。任意の関数の関数です。対数周辺尤度はevidenceとも呼ばれるため、変分下限はevidence lower bound、略してELBOとも呼ばれます。対数周辺尤度と変分下限の差は、 となります。これはと事後分布のKL情報量（Kullback-Leiblerdivergence）です。対数周辺尤度がにはよらない、データのみから決まる定数であることを考えると、事後分布の最もよい近似となるを求めることは、変分下限を最大化することに等価になりま
ここではMachine Learning Advent Calendarの一記事として、ベイズ推論の研究者の間で少しだけ認知され始めたCollapsed Variational Bayes(周辺化変分ベイズ、CVB)にもとづく推論のお話をします。 なお、私はあくまでユーザとしてCVBを使っているだけです*1。でも、多分間違ったことは書いていないと思います。もし間違ってたら教えていただけると嬉しいです。 そもそも確率的生成モデルとかが分からない方はPRMLや統数研の公開講座「確率的トピックモデル」の 資料などをご覧ください。 CVBのご利益 まずは、既存のベイズ推論手法に対してのadvantageです。 高精度: 理論的には大域解を得られるはずのGibbs samplerに比しても、だいたい同程度、しばしばより良い解が得られます 収束が早い: 多くの場合、素早く収束します 実装が簡単（比較級
どうしてサンプリングで推論できるの？ - 木曜不足
TokyoNLP #5 で「はじめてのトピックモデル」的なのをやろうと思ってたんだけど、地震とかとかで１ヶ月延びている間に「はじめての生成文法」にすり替わってた。あれー？ で、次回はその後編の予定だし、その次に TokyoNLP 的なところでなんか話す機会をもらえる頃にはまた別のネタができてるだろうし、うーん、「はじめてのトピックモデル」はお蔵入りかな。 というわけで、なんか最近 LDA のことをあれこれ書いてるのは、そのへんの蔵出し。 で、そんなネタの内、昨日の記事でうっかり書き忘れてた一口メモ。 どうして LDA で Collapsed Gibbs sampling すれば、つまり乱数で適当に選ぶことを繰り返すだけで推論できてしまうんだろう？ わかっている人には簡単で当たり前の話だが、正直恥ずかしながら最初はどうしてそうなるのかさっぱりわからなかったｗ 普通のベイジアンの枠組みでは、事
動く変分混合ガウス分布（実装編）- 動く PRML シリーズ（２） - Next MIDI Project
こちらもどうぞ - 動く変分混合ガウス分布（導出編） 実装には python, SciPy と matplotlib を使います。 テストデータには Old Faithful 間欠泉データを使います。 また、データの読み込み、プロットは混合ガウス分布の際に実装したものを再利用しますので、こちらからダウンロードしておいてください。 必要な関数の読み込み はじめに、必要な関数を読み込みます。 from gmm import faithful_norm, init_figure, preview_stage from scipy import arange, array, exp, eye, float64, log, maximum, ones, outer, pi, rand, zeros from scipy.linalg import det, inv from scipy.maxent
(DL hacks輪読) Variational Dropout and the Local Reparameterization Trick
This document discusses generative adversarial networks (GANs) and their relationship to reinforcement learning. It begins with an introduction to GANs, explaining how they can generate images without explicitly defining a probability distribution by using an adversarial training process. The second half discusses how GANs are related to actor-critic models and inverse reinforcement learning in re
「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくてもいいよ』とか書いてあるけど全然縮退しないよ。ベイズ職人でないとうまくいかないらしいよ」 「初期値について『対称性から、通常 m_0=0 とおく』と書いてあるけど、ほんとに m_0=0 にしたら、全パラメータが k に対して同じ値になっちゃうよ」 と言いふらしていたら、スクリプトのバグだった。 ので、罪滅ぼしにまじめにもうちょっといろいろ検証してみたよ、というお話。 経緯 変分ベイズ実装(PRML 10.2) https://shuyo.hatenablog.com/entry/20100306/variatio
大規模データセットでの推論に便利なSVIの概要をまとめました． SVIは確率的最適化の枠組みで行う変分ベイズ法です． 随時更新してます． 参考文献 [1]Matthew D Hoffman, David M Blei, Chong Wang, and John Paisley. Stochastic variational inference. The Journal of Machine Learning Research, Vol. 14, No. 1, pp. 1303–1347, 2013. [2] 佐藤一誠. トピックモデルによる統計的意味解析. コロナ社, 2015.Read less
Oshasta em
EMアルゴリズムについてざっくり解説 完全データの対数尤度を最大化なら簡単にできる という仮定が鍵。そのかたちにうまいこと持っていく。理論的な背景はPRML 9.4を参照Read less
Prml 10 1
PRML 10.3, 10.4 (Pattern Recognition and Machine Learning)
変分ベイズ実装(PRML 10.2) - 木曜不足
「Old Faithful の推論を K-means と EM について、Ｒで実装」の続き。 【追記】実装にバグが見つかり、この記事の末尾の「うまく縮退しない」は間違いでした。→フォロー記事へ PRML １０章、変分推論(変分ベイズ)がいまいちわからない。 観測＆隠し変数のハイパーパラメータにも事前分布を導入(ここが「ベイズ」) 隠し変数＋ハイパーパラメータ間に、「適当な独立性を仮定」して排反なグループに分割し、それぞれ任意の分布を想定(ここが「変分近似」？？？) 個々のグループごとに、対数同時分布の事後期待値を最適化(ここは EM と同様の枠組み) ということだろう、と理解したつもりだが、実感として掴めない。「排反なグループに分割」って漠然と言われてもなあ。 例によって、言葉を定義せずに使うし。「変分近似」って、何ね？ 毎度ながら、こういうときは手を動かすに限る。 明日の PRML 読書
動く変分混合ガウス分布（導出編）- 動く PRML シリーズ（２） - Next MIDI Project
やりたいこと 動く PRML シリーズ、第２回は変分混合ガウス分布 (variational Bayesian Gaussian mixture model, VB-GMM) です。 はじめに、前回の繰り返しになりますが、反復繰り返し型の機械学習アルゴリズムを理解するためには、大きく分けて二つのステップがあることを再確認します。一つ目はもちろん、 更新式を導出すること。 反復アルゴリズムの理論的性質はすべて更新式の形に反映されています。従って、この更新式を自力で導出することはとても勉強になります。 そして、二つ目は、 各イテレーションの内容をグラフにプロットし、実際の挙動を体感すること。 更新式には確かに必要なこと全てが記されていますし、熟練の研究者であれば、更新式の形から、その実際の挙動をある程度予測することが可能です。 しかし、それは楽譜だけを見てオーケストラを聴き取るようなものではな
参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 4/10 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #13＠サイボウズ・ラボ に参加しました。各位お疲れ様でした。 今回のテーマは１０章の変分推論(変分ベイズ)。監訳者のしましま先生からも「PRML本で最も恐ろしいところ」とお墨付きをもらっているほどの鬼計算の章。 10.2.1 の混合ガウス分布を変分ベイズで推論する例のところを担当した。 発表資料 10.2-10.2.1 例：変分混合ガウス分布、資料後半 by id:n_shuyo 10.2.2-10.2.5 変分下限*1〜導出された分解 by wk さん 10.3 変分線形回帰 by id:tsubosaka さん 10.4-10.5 指数型分布族〜局
変分ベイズ学習 Variational Bayes Learning 東京工業大学大学院 知能システム科学専攻 渡辺研究室 M1 大山慎史 Outline 一般的な学習とベイズ学習 ベイズ学習の問題点 変分ベイズ
変分ベイズ学習 Variational Bayes Learning 東京工業大学大学院 知能システム科学専攻 渡辺研究室 M1 大山慎史 Outline 一般的な学習とベイズ学習 ベイズ学習の問題点 変分ベイズ学習の概略 変分ベイズアルゴリズム 変分ベイズで不明なこと 実験と結果 結論と今後 変分ベイズの説明 研究的内容 Outline 一般的な学習とベイズ学習 ベイズ学習の問題点 変分ベイズ学習の概略 変分ベイズアルゴリズム 変分ベイズで不明なこと 実験と結果 結論と今後 変分ベイズの説明 研究的内容 一般的な学習 真の分布 データ 学習モデル 学習、推定 ベイズ学習 ベイズでは、パラメータを点ではなく分布で推測する。 まず事前分布 を用意し、それにデータ
Kenichi Kurihara's Site - Variational Dirichlet Process
Gaussian Mixture Model
This software implements several algorithms. (see References section below.) My PhD thesis uses similar notation for the parameters of the code. Please find Eq 3.11. You might find the thesis more useful when you read the code. accelerated variational Dirichlet process Gaussian mixture modelcollapsed variational stick-breaking Dirichlet process Gaussian mixture modelvariational Gaussian mixture mo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
変分ベイズを使って変化点検知をしてみる - 作って遊ぶ機械学習。
変分ベイズについての資料まとめ(随時更新) - old school magic
【これなら分かる！】変分ベイズ詳解＆Python実装。最尤推定/MAP推定との比較まで。Beginaid
ディリクレ過程混合モデルへの変分推論適用について - old school magic
http://chasen.org/~daiti-m/paper/vb-nlp-tutorial.pdf
CVB0へようこそ！ - Bag of ML Words
PRML 10章の変分ベイズによる混合ガウス分布推論の検証（フォロー編) - 木曜不足
Stochastic Variational Inference
PRML 読書会 #13 １０章 近似推論法(変分ベイズ) - 木曜不足
http://sleepyheads.jp/docs/multinomial_dist.pdf