06_PythonでTF-IDF

PythonでTF-IDF計算 専⾨演習(B)：Pythonでデータ分析⼊⾨ TF-IDFの概念 • ⽂書群内の特定の⽂書における特定の単語の重要度 • 仮定：以下のような単語の重要度は⾼い • その⽂書における出現頻度が⾼い • ⽂書群の他の⽂書にはあまり出現しない TF-IDFの定義 単語 t の⽂書 d における出現頻度 tf(t, d) : tf-idf(t, d, D) = tf(t, d) idf(t, D) idf(t, D) : 単語 t の⽂書群 D における出現頻度 idf(t, D) = log |D| |{d D : t d}| tf(t, d) = 0.5 + 0.5 · ft,d max{ft ,d : t d} ft,d = nt,d t nt ,d TF-IDFの例 TF-IDF ✓ 回数の多い単語が重要というわけでもない ⽂書ごとの単語の出現頻度（回数）