『パターン認識と機械学習の学習 普及版』 PDF main.pdf (last update : 2020/01/09) 暗黒通信団へのリンク 作品紹介：パターン認識と機械学習の学習普及版 ライセンス クリエイティブ・コモンズ 表示 3.0 非移植 TeXソース https://github.com/herumi/prml/ 著者 光成滋生@herumi(herumi@nifty.com)

多変量(多次元)正規分布のKLダイバージェンスの求め方 - EchizenBlog-Zwei 上の記事を読んで勉強になったのですが、数式がテキストで読みづらかったのと、多変量でない1次元の正規分布の導出の段階でよくわからなかったので調べて記事にまとめました 注意 数式はMathJax(JavaScriptのライブラリ)を使って表示しています SVGが描画できないと表示されないので、最近のブラウザで閲覧してください KLダイバージェンス(Kullback–Leibler divergence) 確率分布の差の大きさを測る尺度。 機械学習の分野だとパラメータの最適化などは、結局KLダイバージェンスの最小化と同じになることが多い。 本とか論文を読んでいるとよく出てくる 式 2つの確率分布\(P, Q\)を考える 確率分布が連続確率分布の時KLダイバージェンスは以下のようになる $$D_{\mat