サンプリングによる近似ベイズ推論 その3（MCMC:ギブスサンプリング） - 機械と学習する
【概要】 ベイズ推論について実装して理解するシリーズ 今回は、MCMCアルゴリズムの一つであるギブスサンプリングです ギブスサンプリングによって線形回帰（ベイズ線形回帰）を近似推論してみました 【目次】 はじめに 近似ベイズ推論 ギブスサンプリング (Gibbs Sampling) ギブスサンプリング のアルゴリズム ギブスサンプリングによる確率分布の近似推論の実装 2次元ガウス分布の近似推論 近似解 ベイズ線形回帰の近似推論 モデル サンプルデータ 解析解 近似解 線形回帰問題の条件付き分布の導出過程メモ 実装コード全体 おわりに 参考文献 はじめに ベイズ推論についての書籍を読んでいると、なんとなく理解はできても具体的なイメージってつきにくくないですか？ ということで、実装して理解を深めていきたいと思います。 本記事ではベイズ推論における近似推論について扱います。 ベイズ推論では「MC
Hamiltonian Monte Carlo explained by Alex Rogozhnikov
MCMC (Markov chain Monte Carlo) is a family of methods that are applied in computational physics and chemistry and also widely used in bayesian machine learning. It is used to simulate physical systems with Gibbs canonical distribution: $$ p(\vx) \propto \exp\left( - \frac{U(\vx)}{T} \right) $$ Probability `$ p(\vx) $` of a system to be in the state `$ \vx $` depends on the energy of the state `$U
マルコフ連鎖モンテカルロ法 - Wikipedia
マルコフ連鎖モンテカルロ法（マルコフれんさモンテカルロほう、英: Markov chain Monte Carlo methods、通称MCMC）とは、求める確率分布を均衡分布として持つマルコフ連鎖を作成することによって確率分布のサンプリングを行う種々のアルゴリズムの総称である。具体的には、同時事後分布に従う乱数を継時的に生成する。代表的なMCMCとしてメトロポリス・ヘイスティングス法やギブスサンプリングがある。 MCMCで充分に多くの回数の試行を行った後のマルコフ連鎖の状態は求める目標分布の標本として用いられる。試行の回数を増やすとともにサンプルの品質も向上する。 求められる特性を持つマルコフ連鎖を作成することは通常難しくない。問題は許容できる誤差内で定常分布に収束する試行の回数を決めることである。適切な連鎖なら任意の位置から始めても定常分布に速く達し、これを高速混合（rapid mix
信頼区間の意味 - PASL
（頻度主義）統計学では信頼区間の概念を理解するのがとても難しいです。それを少しでもわかりやすく説明できないかと知恵を絞ってみました。 母平均10・母分散25（母標準偏差5）の正規分布にしたがう確率変数 X を考えます。今 X から100個の要素をランダムサンプリングします。サンプリングする人は母平均（と母分散）を知りませんが、サンプリングされた100個の要素の標本平均と標本分散は計算でき、母平均の95%信頼区間を計算できます。このような状況下で、母平均の95%信頼区間を以下のように解釈することは 誤り です。 100個の要素のうち95個は母平均の95%信頼区間内に含まれる 母平均10が95%信頼区間に含まれる確率は95%である 解説します。1.は母平均の信頼区間ではなく将来観測される標本値の95%予測区間と呼ばれるものです。たとえばこのような状況です。今、上記のような100個のランダムサン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
