Statistical Semantics入門の発表をしました
先週のPFIセミナーで、Statistical Semantics入門という発表をしました。 主に分布仮説をベースにした、単語の意味を文脈の分布で表現する研究を纏めました。 LSIから始まって、PLSI、LDAと続く言語モデル系、NMFなどの行列分解系、そしてNNLM、RNNLMと来て昨年流行したニューラルネット系の3つでまとめるという形をとっています。 あまり専門的になりすぎず、過去からの歴史や流れを踏まえ、一方で実用面や研究テーマのココロ、問題意識を重視するような内容になるように心がけたつもりではあります。 当初、他の「いわゆる意味論」との比較みたいなスライドもあったのですが、変なコト言うと刺されると思ったので消しましたｗ ところで、応用の観点でこれらの話をどう考えているか、というような点について触れるのを忘れたな、と思ったのでこちらに書いてみます。 基本的に私見ですが。 私自身は、単
A Biterm Topic Model for Short Texts(WWW 2013) 読んだ - 糞糞糞ネット弁慶
A Biterm Topic Model for Short Texts(WWW 2013) 概要 LDAやPLSIは文書中の単語が少ない時にうまくいかない．なぜならば文書ごとにトピックの分布があって，それによって単語が生成されるという仮定があるからだ． 提案する Biterm Topic Model(BTM) ではトピックの分布は文書全体に対して存在していて，そこから各文書に対して2語(biterm)が生成されると仮定する． すごく大雑把に言えば，通常のLDAではトピックにおける単語の出現確率と，文書におけるトピックの出現確率が学習されるが，今回のBTMではトピックにおける単語の出現確率が学習されるのは共通しているが，トピックの出現確率はとなっていて，文書を引数に取らず，全文書に対して計算される． 手法 Gibbs sampling は次のように行う．シンプル．論文中にのnotation
ノンパラベイズ入門の入門
機械学習×プログラミング勉強会 vol.2 での発表資料です。 ベイズの何が嬉しいか、ノンパラベイズの何が嬉しいかを数式を使わず語ります。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
潜在的意味インデキシング（LSI）徹底入門 - あらびき日記
