変分ベイズの自分向けの説明StanでADVIが使えるようになったので、変分ベイズの基礎は抑えておきたいなぁと思って最近学んでいました。自分向けのメモとして残します。 ●対数周辺尤度・変分下限・KL情報量 目的は事後分布 の最もよい近似となる を求めることです。 にはあとで因子分解可能 という条件を入れます。 イエンセンの不等式を使って、対数周辺尤度 を下から評価すると、 を変分下限と呼びます。任意の関数 の関数です。対数周辺尤度はevidenceとも呼ばれるため、変分下限はevidence lower bound、略してELBOとも呼ばれます。対数周辺尤度と変分下限の差は、 となります。これは と事後分布 のKL情報量（Kullback-Leiblerdivergence）です。対数周辺尤度が にはよらない、データ のみから決まる定数であることを考えると、事後分布の最もよい近似と
