多変量(多次元)正規分布のKLダイバージェンスの求め方 - EchizenBlog-Zwei 上の記事を読んで勉強になったのですが、数式がテキストで読みづらかったのと、多変量でない1次元の正規分布の導出の段階でよくわからなかったので調べて記事にまとめました 注意 数式はMathJax(JavaScriptのライブラリ)を使って表示しています SVGが描画できないと表示されないので、最近のブラウザで閲覧してください KLダイバージェンス(Kullback–Leibler divergence) 確率分布の差の大きさを測る尺度。 機械学習の分野だとパラメータの最適化などは、結局KLダイバージェンスの最小化と同じになることが多い。 本とか論文を読んでいるとよく出てくる 式 2つの確率分布\(P, Q\)を考える 確率分布が連続確率分布の時KLダイバージェンスは以下のようになる $$D_{\mat