Stochastic Gradient Langevin Dynamicsを理解する
はじめに MCMCの一種 目標: ある分布 $\pi(x)$からのサンプリングを行いたい Metropolis-Hastingsアルゴリズム (MH) Hamiltonian Monte Carlo (HMC) Langevin Dynamics (Metropolis-adjusted Langevin Algorithm) Stochastic Gradient Langevin Dynamics (SGLD) の順に見ていくと理解しやすい Metropolis-Hastings Metropolis-Hastingsについては既知のもとする 提案分布 $q(z)$を元に判定関数を用いて受容・棄却を行うMCMC cf. GibbsSamplingとHM 提案分布が対称, すなわち $q(z|z_\ast) = q(z_\ast|z)$ならば, 判定関数はただの $\min(1,\fra
pythonでNUTSの実装 - やったことの説明
はじめに 前回 ハミルトニアンモンテカルロ法の実装をやった． 今回は No U-Turn Sampler (NUTS)の実装をやる． 論文を参考にした． コードはここにもある github.com NUTS ハミルトニアンモンテカルロ (HMC)はパラメータの勾配を利用して， 効率的にMCMCサンプリングを行うことができる手法だった． HMCの問題点は2つ． 更新ステップ数 を適切に指定しなければいけない． 更新の大きさ を適切に指定しなければいけない． NUTSは更新ステップ数を自動的に決定する手法である． 論文内でははdual-averaging (Nesterov 2009)を用いて決定するが，今回は決め打ちにする． 更新ステップ数L ハミルトニアンモンテカルロでは,正規分布によって発生させた運動量を与えて， ステップの間，点を動かす． 予め決められたステップの間，点を動かすので，例
Discontinuous Hamiltonian Monte Carlo for discrete parameters and discontinuous likelihoods
Hamiltonian Monte Carlo has emerged as a standard tool for posterior computation. In this article, we present an extension that can efficiently explore target distributions with discontinuous densities. Our extension in particular enables efficient sampling from ordinal parameters though embedding of probability mass functions into continuous spaces. We motivate our approach through a theory of di
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
A summary of "Generalizing Hamiltonian Monte Carlo with Neural Networks" | Colin Carroll
