変分ベイズの検索結果1 - 2 件 / 2件

• あとで読む

  変分ベイズ法による混合正規分布の推定を理解したい - Qiita

  • 1 user
  • qiita.com/fred55
  • テクノロジー
  • 2024/06/15

  はじめに 変分ベイズ法の考え方のメモです。 参考文献 変分法をごまかさずに変分ベイズの説明をする 参考文献 変分推論法（変分ベイズ法）(PRML第10章) 参考文献 パターン認識と機械学習の学習 普及版 変分ベイズ法の考え方 変分ベイズ法は、パラメータの事後確率分布$p(v,w|X)$を確率分布の積$q(v)q(w)$で近似する手法。 近似は、KL情報量を最小化する分布とする。 対数周辺尤度$\log p(X)$は変分下限$L(q)$とKL情報量の和に分解される。 \begin{align} \log p(X)&=L(q)+KL(q\parallel p)\\ L(q)&=\iint q(v)q(w)\log\frac{p(X,v,w)}{q(v)q(w)}\mathrm{d}v\mathrm{d}w\\ KL(q\parallel p)&=\iint q(v)q(w)\log\frac{

  • 統計

  
• あとで読む

  無から始める変分ベイズ - Qiita

  • 1 user
  • qiita.com/HelloRusk
  • テクノロジー
  • 2023/12/02

  動機 何らかのパラメータ $\theta$ で記述された分布があって、その分布から観測データ $D$ が得られるとします。ベイズの定理 $$ p(\theta | D) = \dfrac{p(D|\theta) p(\theta)}{p(D)} = \dfrac{p(D|\theta) p(\theta)}{\int p(D|\theta) p(\theta) d\theta} $$ では、$p(\theta)$ を事前確率、$p(\theta|D)$ を事後確率と呼びますが、これを使って、事後確率が最大となる $\theta$ を求めたり（MAP推定）、$p(\theta|D)$ を実際に計算したり（ベイズ推定）したりするのでした。 参考: 藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定 一方、確率的生成モデルと呼ばれる高度な方法だと、$\theta$ は決定的な値ではなく確率変数として