Estimating Mutual Information for Discrete‐Continuous Mixtures 離散・連続混合の相互情報量の推定
4. 多項分布とディリクレ分布 多項分布:サイコロの出た目の分布 サイコロを振る回数 N (= K面サイコロの目の出易さ p1 確率 p2 確率 K 確率 PK k=1 nk ) K面サイコロの出た目 確率質量関数 n1 n2 Multi(n|p, N ) = PK K (( k=1 nk ) + 1) Y nk pk QK (nk + 1) k=1 k=1 pK ※ N 6= PK k=1 nk のときは0 K 回 回 nK 回 ※nは自然数 ディリクレ分布:サイコロの目の出易さの分布 K面サイコロの目の出易さ K面サイコロの出た目 ↵1 ↵2 K ↵K 1 1 回 回 1回 ※αは自然数でなくてもよい 確率密度関数 p1 確率 p2 確率 Dir(p|↵) = PK K ( k=1 ↵k ) Y ↵k pk QK (↵k ) k=1 k=1 1 K 確率 pK !4 5. 備考 m •
Hierechical Dirichlet Process(HDP, 階層ディリクレ過程) を実装するのに必要な式を導出しつつ、実装してみるお話。 参照するのはこちらの論文。 [Y.W.Teh, M.I.Jordan, M.J.Beal & D.M.Blei. JASA2006] Hierarchical Dirichlet Processes http://www.gatsby.ucl.ac.uk/~ywteh/research/npbayes/jasa2006.pdf しかし全部拾っていくのは大変なので、ちょびっとずつ小分けに、かつ他の方がブログとかで書いていてくれそうなところ(ディリクレ過程とか、中華料理店フランチャイズとか)はまるっと飛ばして、実装に必要な定式化&導出にしぼってまとめていくつもり。*1 とりあえず syou6162 さんや nokuno さんのこの辺の記事とかご参考
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く