[B! LDA][nlp] tnalのブックマーク

LDA（Latent Dirichlet Allocation）について調べたので自分なりにまとめる - 隣のデスク覗く言語さん

はじめに内容文献調査何ができるの？だから〜…それができると何ができるの？ LDAの利点は？ LDAの欠点は？ LDAの評価基準 LDAどんなもんじゃいまとめ今後はじめに普段はUnityのことばかりですが，分析系にも高い関心があるので，備忘録がてら記事にしてみました．トピックモデル分析の内，LDAについてまとめていこうと思います．自分の意見や使ってみた印象も混じっているので悪しからず．引用元は明記しているはず…です． LDAは文書集合から，主たる話題を半自動的に推定することができるテキストマイニング手法です．内容文献調査大元の文献はこちらです． http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf David M. Blei, Andrew Y. Ng, Michael I. Jordan, "Latent D

tnal 2018/02/10

リンク

Statistical Semantics入門の発表をしました

先週のPFIセミナーで、Statistical Semantics入門という発表をしました。主に分布仮説をベースにした、単語の意味を文脈の分布で表現する研究を纏めました。 LSIから始まって、PLSI、LDAと続く言語モデル系、NMFなどの行列分解系、そしてNNLM、RNNLMと来て昨年流行したニューラルネット系の3つでまとめるという形をとっています。あまり専門的になりすぎず、過去からの歴史や流れを踏まえ、一方で実用面や研究テーマのココロ、問題意識を重視するような内容になるように心がけたつもりではあります。当初、他の「いわゆる意味論」との比較みたいなスライドもあったのですが、変なコト言うと刺されると思ったので消しましたｗところで、応用の観点でこれらの話をどう考えているか、というような点について触れるのを忘れたな、と思ったのでこちらに書いてみます。基本的に私見ですが。私自身は、単

tnal 2014/04/09

リンク

国際会議WWW 2013感想文その１: 土方嘉徳公式ブログ e-biz Diary

tnal 2014/01/30

リンク

A Biterm Topic Model for Short Texts(WWW 2013) 読んだ - 糞糞糞ネット弁慶

A Biterm Topic Model for Short Texts(WWW 2013) 概要 LDAやPLSIは文書中の単語が少ない時にうまくいかない．なぜならば文書ごとにトピックの分布があって，それによって単語が生成されるという仮定があるからだ．提案する Biterm Topic Model(BTM) ではトピックの分布は文書全体に対して存在していて，そこから各文書に対して2語(biterm)が生成されると仮定する．すごく大雑把に言えば，通常のLDAではトピックにおける単語の出現確率と，文書におけるトピックの出現確率が学習されるが，今回のBTMではトピックにおける単語の出現確率が学習されるのは共通しているが，トピックの出現確率はとなっていて，文書を引数に取らず，全文書に対して計算される．手法 Gibbs sampling は次のように行う．シンプル．論文中にのnotation

tnal 2013/09/07

リンク

トピックモデルメモ - Negative/Positive Thinking

はじめにトピックモデルについてメモ。トピックモデルとは文書は、何らかの話題について書かれていたりする「ある文書内に一緒にでてくる単語は、意味的な関連性が強い」など考えられるトピックモデルは、文書から「何らかの話題(＝トピック)」を発見するための統計的なモデルのことトピックモデルのいろいろ Unigram Mixtures ナイーブベイズでクラス数kと各パラメータをEMで繰り返し推定していく http://www.kamalnigam.com/papers/emcat-mlj99.pdf Probabilistic Latent Semantic Indexing(PLSI) 検索技術であった潜在意味解析(LSI,1990年)を確率的に解析、開発された生成モデル(1999年) 各単語ごとに別なトピックから生成されたと仮定する http://cs.brown.edu/~th/pap