ベイズ統計の理論と方法 5.1 マルコフ連鎖モンテカルロ法
5.1 2017 1 / 44 1 MCMC 2 3 (HMC) 4 5 (LMC) 6 7 2 / 44 MCMC p(x|w) (x ∈ RN , w ∈ W ⊂ Rd ) φ(w) W H(w) H(w) = − n ∑ i=1 log p(Xi|w) − 1 β log φ(w). exp(−βH(w)) = exp (∑ log p(Xi|w)β + log φ(w) ) = exp ( log ( φ(w) ∏ p(Xi|w)β )) p(w|Xn ) = 1 Zn(β) φ(w) n ∏ i=1 p(Xi|w)β = 1 Zn(β) exp(−βH(w)) H(w) (e.g. ) 3 / 44 MCMC : Ew[p(x|w)] = p∗ (x|Xn ) d = 1, 2, 3 ∫ f(w)p(w)dw ≈ 1 K K ∑ k=1 f(wk) K → ∞ {wk}K k=1
ハミルトニアンモンテカルロ法 - Qiita
はじめに 「ハミルトニアンモンテカルロ法」は、モデルのパラメータを推定する手法であり、 マルコフ連鎖モンテカルロ法（MCMC法）の一種である。 確率的プログラミング言語のStanやPyMCで実装されており、誰でも容易に使うことができる。 様々なパラメータの推定手法 このようなモデルのパラメータを推定する方法に、「EMアルゴリズム」がある。 EMアルゴリズムは、Jensenの不等式を用いて、周辺化対数尤度を下限で近似する。 $ log\ p(x{\mid}{\theta}) \geq E_{z {\sim} q(z)} [log\ p(x, z {\mid}\theta)] $ そして、右辺を最大化することで、左辺の周辺化対数尤度に近づけていく。 しかし、モデル$p(x, z {\mid}\theta)$ が複雑だと、それ自体の解析的な計算ができないため、 EMアルゴリズムを適用することがで
Langevin Monte Carlo法には棄却が必要か
機械学習系のベイズっぽい論文を読んでいると、SGLD [WT11] やSGRLD [PT13] といった文字列を見ることがあります。これらが何かというとマルコフ連鎖モンテカルロ法 (MCMC) の一種で、正規化定数がわからない高次元の確率分布からのサンプリングを得たい場合などに使われます。 アルゴリズムの位置づけとしては、 Langevin Monte Carlo (LMC) とか Langevin Dynamics などという名前で呼ばれている既存アルゴリズムがまずあり、それに伴う勾配計算をサブサンプリングを利用して簡略化したもの という感じです。勾配降下法 (GD) を確率的勾配降下法 (SGD) に拡張することにインスパイアされているのだったと思います。LMCのモチベーションとしてよく言われるのは、LMCでは (Metropolis–Hastings法に見られるような) 棄却ステップ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
