ELBO（変分下限）を最大化するという意味をゼロから理解する（尤度、最尤推定） - Qiita

いろいろと調べた備忘録です。 はじめに VAEや拡散モデルでパラメータを更新する際、対数尤度の最大化の代わりにその下限であるELBOを最大化します。 みたいな文章があるかと思います。 今まではふーんそうなんだ程度で流していましたがちゃんと理解するために調べてみました。 この記事はこの文章を理解する事がゴールです。 1. 対数尤度の最大化とは？ 1-1. 尤度 まずは尤度からで、読み方は「ゆうど」と読みます。（英語だと likelihood です） 定義は以下です。 ・確率：ある事象が起こる頻度 ・尤度：想定している確率分布に対してある事象が起こった場合の確率 確率は事象自体に注目しますが、尤度は逆で、ある想定している前提に対して実際に起こった結果がどのぐらい妥当か（もっともらしいか）を見るイメージです。 具体例で見てみます。 表が出る確率が50%のコインがあり5回投げて「表表表表裏」と出ま