単語の頻度からLDAまでの流れの簡単なイメージのメモ - 唯物是真 @Scaled_Wurm
トピックモデルのLDA(Latent Dirichlet Allocation)が難しいって話をよく聞きますけど，詳しい理論的な部分はともかくどういう流れに位置するものかってのはわかりやすいので簡単にメモ． 専門でないので，詳しくは参考文献を読んだほうがいいです． トピック 同じ文書内で使われる確率が高いような似た意味を持つ単語の集まり． 例えばスポーツトピックなら「野球」「サッカー」「ボール」が出やすい，など． トピックモデルは文書のトピックと，トピックに属する単語を推定する． 単語頻度からトピックモデルまでの流れのイメージ 文書をモデル化しよう→単語の頻度 同義語や多義語を捉えよう≒次元削減をしよう→LSA＝SVD→以下がトピックモデル 確率的にしよう→PLSI ベイズ的にしよう＝訓練データに登場しなかったものにも対応できる→LDA トピック数が自動で決まるようにしよう→ノンパラメトリ
Vol.27 No.3 (2012/05) Latent Topic Model (潜在的トピックモデル) | 人工知能学会 (The Japanese Society for Artificial Intelligence)
私のブックマーク Latent Topic Model (潜在的トピックモデル)東京大学 情報基盤センター助教 佐藤 一誠 (Issei Sato) URL: http://www.r.dl.itc.u-tokyo.ac.jp/~sato/ 1.はじめに 近年、Topic modelと呼ばれる確率的潜在変数モデルが、機械学習とデータマイニングの境界分野で盛んに研究されています。また、Topic modelは、自然言語処理、画像処理、Web解析など様々な応用分野でも多くの適用例が報告されています。 ここでは、Topic modelの研究に関する情報を紹介します。 2.国際会議機械学習およびデータマイニングでは、主に国際会議で最先端の議論がされているため、主要国際会議を把握しておくことが重要です。Topic modelの研究では、主に以下の国際会議が重要視されています。 Neural Info
第二回機械学習アルゴリズム実装会 - LDA
2. 自己紹介 • 礒部正幸（いそべ まさゆき） • 職業： ソフトウェアエンジニア • 現在： アドファイブ（株） 代表 http://www.adfive.net – 今のところ代表１名の会社です – アドテク、データドリブンマーケティング事業 • ソフトウェアコンサルティング及び受託開発 • 理系大学院卒 • インターネット活動 – TwitterID: @chiral – （ブログ：アドファイブ日記） http://d.hatena.ne.jp/isobe1978/ • 最近実装したアルゴリズム – カルマンフィルタ、粒子フィルタ、Restricted Boltzmann Machine、ベイズロジスティック回帰、uplift modeling, SCW, LDA 3. Topic Modelingとは • 主に文書データを想定したクラスタリング – クラスタリング ＝ 教師なし分
３分でわかる多項分布とディリクレ分布
4. 多項分布とディリクレ分布 多項分布：サイコロの出た目の分布 サイコロを振る回数 N (= K面サイコロの目の出易さ p1 確率 p2 確率 K 確率 PK k=1 nk ) K面サイコロの出た目 確率質量関数 n1 n2 Multi(n|p, N ) = PK K (( k=1 nk ) + 1) Y nk pk QK (nk + 1) k=1 k=1 pK ※ N 6= PK k=1 nk のときは0 K 回 回 nK 回 ※nは自然数 ディリクレ分布：サイコロの目の出易さの分布 K面サイコロの目の出易さ K面サイコロの出た目 ↵1 ↵2 K ↵K 1 1 回 回 1回 ※αは自然数でなくてもよい 確率密度関数 p1 確率 p2 確率 Dir(p|↵) = PK K ( k=1 ↵k ) Y ↵k pk QK (↵k ) k=1 k=1 1 K 確率 pK !4 5. 備考 m •
Beta distribution and Dirichlet distribution (ベータ分布とディリクレ分布)
Describes the Beta and Dirichlet distribution. ベータ分布とディリクレ分布について説明します。Read less
階層ディリクレ過程を実装してみる (1) HDP-LDA と LDA のモデルを比較 - 木曜不足
Hierechical Dirichlet Process(HDP, 階層ディリクレ過程) を実装するのに必要な式を導出しつつ、実装してみるお話。 参照するのはこちらの論文。 [Y.W.Teh, M.I.Jordan, M.J.Beal & D.M.Blei. JASA2006] Hierarchical Dirichlet Processes http://www.gatsby.ucl.ac.uk/~ywteh/research/npbayes/jasa2006.pdf しかし全部拾っていくのは大変なので、ちょびっとずつ小分けに、かつ他の方がブログとかで書いていてくれそうなところ(ディリクレ過程とか、中華料理店フランチャイズとか)はまるっと飛ばして、実装に必要な定式化＆導出にしぼってまとめていくつもり。*1 とりあえず syou6162 さんや nokuno さんのこの辺の記事とかご参考
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
