tf-idf - Qiita

#tf-idf tf-idfとはある文書中に含まれる単語の重要度を評価する手法の1つである。tf-idfはtfとidfの二つの指標を持って計算する。まず二つを分けて説明する。 ##tf tfとはterm frequencyの略であり、ある単語$w_j$が文章$d_i$に出現する頻度である。つまり、単語$w_j$が文章$d_i$に出現する回数を文章$d_i$の総単語数で割ったものである。単語$w_j$が文章$d_i$に出現する回数を関数$f(d_i, w_j)$で求められるとすると、tfは以下のように書ける。 $$ tf = \frac{f(d_i, w_j)}{\sum_{k\in d_i}f(d_i, w_k)} $$ pythonでtfを実装すると以下のようなプログラムになる。 import MeCab mecab = MeCab.Tagger("-Owakati") # 文章 doc