LDA（Latent Dirichlet Allocation）について調べたので自分なりにまとめる - 隣のデスク覗く言語さん
はじめに 内容 文献調査 何ができるの？ だから〜…それができると何ができるの？ LDAの利点は？ LDAの欠点は？ LDAの評価基準 LDAどんなもんじゃい まとめ 今後 はじめに 普段はUnityのことばかりですが，分析系にも高い関心があるので，備忘録がてら記事にしてみました． トピックモデル分析の内，LDAについてまとめていこうと思います． 自分の意見や使ってみた印象も混じっているので悪しからず．引用元は明記しているはず…です． LDAは文書集合から，主たる話題を半自動的に推定することができるテキストマイニング手法です． 内容 文献調査 大元の文献はこちらです． http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf David M. Blei, Andrew Y. Ng, Michael I. Jordan, "Latent D
トピックモデルの評価指標 Coherence に関する論文まとめ - ほくそ笑む
LDA などのトピックモデルの評価指標として、Perplexity と Coherence の 2 つが広く使われています。 Perplexity はモデルの予測性能を測るための指標であり、Coherence は抽出されたトピックの品質を評価するための指標です。 トピックモデルは確率モデルであるため、Perplexity の定義は明確です。 一方、Coherence は「トピックが人間にとって分かりやすいかどうか」を評価する必要があるため、その算出方法について様々な議論があります。 本記事では、Coherence に関する研究の中で、主要な流れを作っている、特に重要な 5 つの論文をピックアップして紹介したいと思います。 Coherence とは Coherence は、「トピックが人間にとって分かりやすいか」を表す指標です。 例えば、トピックが { farmers, farm, food
Statistical Semantics入門の発表をしました
先週のPFIセミナーで、Statistical Semantics入門という発表をしました。 主に分布仮説をベースにした、単語の意味を文脈の分布で表現する研究を纏めました。 LSIから始まって、PLSI、LDAと続く言語モデル系、NMFなどの行列分解系、そしてNNLM、RNNLMと来て昨年流行したニューラルネット系の3つでまとめるという形をとっています。 あまり専門的になりすぎず、過去からの歴史や流れを踏まえ、一方で実用面や研究テーマのココロ、問題意識を重視するような内容になるように心がけたつもりではあります。 当初、他の「いわゆる意味論」との比較みたいなスライドもあったのですが、変なコト言うと刺されると思ったので消しましたｗ ところで、応用の観点でこれらの話をどう考えているか、というような点について触れるのを忘れたな、と思ったのでこちらに書いてみます。 基本的に私見ですが。 私自身は、単
A Biterm Topic Model for Short Texts(WWW 2013) 読んだ - 糞糞糞ネット弁慶
A Biterm Topic Model for Short Texts(WWW 2013) 概要 LDAやPLSIは文書中の単語が少ない時にうまくいかない．なぜならば文書ごとにトピックの分布があって，それによって単語が生成されるという仮定があるからだ． 提案する Biterm Topic Model(BTM) ではトピックの分布は文書全体に対して存在していて，そこから各文書に対して2語(biterm)が生成されると仮定する． すごく大雑把に言えば，通常のLDAではトピックにおける単語の出現確率と，文書におけるトピックの出現確率が学習されるが，今回のBTMではトピックにおける単語の出現確率が学習されるのは共通しているが，トピックの出現確率はとなっていて，文書を引数に取らず，全文書に対して計算される． 手法 Gibbs sampling は次のように行う．シンプル．論文中にのnotation
トピックモデルメモ - Negative/Positive Thinking
はじめに トピックモデルについてメモ。 トピックモデルとは 文書は、何らかの話題について書かれていたりする 「ある文書内に一緒にでてくる単語は、意味的な関連性が強い」など考えられる トピックモデルは、文書から「何らかの話題(＝トピック)」を発見するための統計的なモデルのこと トピックモデルのいろいろ Unigram Mixtures ナイーブベイズでクラス数kと各パラメータをEMで繰り返し推定していく http://www.kamalnigam.com/papers/emcat-mlj99.pdf Probabilistic Latent Semantic Indexing(PLSI) 検索技術であった潜在意味解析(LSI,1990年)を確率的に解析、開発された生成モデル(1999年) 各単語ごとに別なトピックから生成されたと仮定する http://cs.brown.edu/~th/pap
ノンパラベイズ入門の入門
機械学習×プログラミング勉強会 vol.2 での発表資料です。 ベイズの何が嬉しいか、ノンパラベイズの何が嬉しいかを数式を使わず語ります。
(Kim+ ICML12) Dirichlet Process with Mixed Random Measures ＠ICML読み会 - 木曜不足
7/28 に行われた nokuno さん主催の ICML 2012 の論文読み会にのこのこ参加。お疲れ様でした＆ありがとうございました＞各位 「えーまたトピックモデルなの？（ぶーぶー）」とブーイングを浴びつつ、[Kim+ ICML12] Dirichlet Process with Mixed Random Measures を紹介してみた。発表資料はこちら。 [Kim+ ICML2012] Dirichlet Process with Mixed Random Measures : A Nonparametric Topic Model for Labeled Data from Shuyo Nakatani www.slideshare.net 論文では Stick Breaking Process と Polya Urn の２つでモデルを表現していたが、そのあとどうせ Gibbs s
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国際会議WWW 2013感想文その１: 土方嘉徳 公式ブログ e-biz Diary
Latent Dirichlet Allocation ゆるふわ入門 - あらびき日記