きまぐれ日記: キーワード抽出: tf-idf の意味づけ

単語の重み付けの古典的な方法に tf-idf があります。文書中の各単語の tf-idf 値計算し、値でソートすると、その文書に特徴的な単語リストを得ることができます。 http://nais.to/~yto/clog/2005-10-12-1.html tf-idf は、単なるヒューリスティックスだと考えられていましたが、最近言語モデルに基づく情報検索手法がさかんに研究されるようになり、tf*idf の解釈が明らかになってきました。言語モデルに基づく手法は、ヒューリスティックスばりばりの手法と同性能にもかかわらず、文書のランキングに理論的で合理的な説明を与えることができます。 情報検索は、クエリ q に対し、もっとも適合する文書 d_opt を求めるタスクです。つまり、q が与えられたとき、文書 d が出現する確率 p(d|q) の最大化問題と解釈できます。 d_opt = argmax

[todesking]

よんでる

[tomity]

全単語数/wの頻度 ~ idfでは？？idfは厳密にはlog(文書数/wを含む文書数)ですが、この差異はどう影響するんだろう。

[r_kurain]

すごいなー

[mrorii]

[

[rin1024]

tfidfの意味。ベイズに通じていたのかな？

[hiromark]

確かに、美しい。

[webmarksjp]

NL

[takado]

単語の重み付けに用いられているtf-idfの本質的な意味

[ttpooh]

TF-IDF≒{ナイーブベイズ+事前確率p(d)等価+p(w|d)=p(w|d)とp(d)の混合モデル}という仮定でp(d|クエリ単語列)の最大化。

[drk7jp]

日本語処理の説明。わかりやすい

[shibacho]

TF-IDFはヒューリスティックスじゃなかった！

[thonda]

tf-idfの1解釈

[rhosoi]

TF-IDFの解釈

[uraito]

なるほどスッキリ

[Tiger]

キーワード抽出。はっきりいって、わかんない。

[tsupo]

tf-idf は、単なるヒューリスティックスだと考えられていましたが、……

[lockcole]

数学的にTF-IDFの意味を明らかに

[subarukun]

tf-idfの理論的な意味づけ

[ysano2005]

tf-idf勉強しなきゃなぁ。

[yto]

ふむふむ