変分近似（Variational Approximation）の基本（１） - 作って遊ぶ機械学習。
初回の記事で変分近似はけっこう重たいのですが、今後ここで頻繁に使っていこうと考えているのでとりあえずご紹介です。 変分近似（variational approximation）とは、確率分布を近似的に求める方法のひとつです*1。一般的には確率分布を求めるには正規化（積分して１になるようにする）しなければならないのですが、複雑な分布（例えば潜在変数モデルの事後分布）になってくると、どうしても解析的に積分ができなくなってしまいます。変分近似ではこのような複雑すぎて正規化できないような確率分布を、もっとシンプルな確率分布たちの積に分解する（＝独立性を仮定する）ことにより近似します。分解を仮定することによって変数の依存関係を簡略化し、数値最適化でいうところの偏微分を使った勾配法と似たようなことが確率分布の推論に対しても行えるようになります。 これが使えるようになると、様々なデータサイエンスの課題に
変分ベイズ法の心２ - HELLO CYBERNETICS
はじめに 変分ベイズ法の戦略 基本の復習 分布の評価指標 ELBO 変分ベイズ法の具体的手段 関数 $q$ をどのように置くのか はじめに 下記記事の続きで、お気持ちは理解している前提で進みます。 www.hellocybernetics.tech 変分ベイズ法の戦略 基本の復習 データ $D = {x_1, \cdots, x_N}$ が手元にあるときに確率モデル $p(x|\theta)$ と事前分布 $p(\theta)$ を設計するのがモデリングの第一歩でした。するとベイズの定理（あるいは乗法定理）から、下記の事後分布を獲得することがベイズ推論の目標になります。 $$ p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} $$ さて、この分布を推論したときに最も嬉しい結果は $\theta$ を表す真の分布 $\hat p(\theta
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
tinygp — tinygp