3. Pythonによる自然言語処理 3-1. 重要語抽出ツール TF-IDF分析［原定義］ - Qiita

自然言語処理を行うとき、具体的な狙いの一つとして「ある文章を特徴づけるような重要語を抽出したい」ということがあります。 単語を抽出するとき、まずはテキスト内で出現回数の多い単語を拾います。出現頻度順のリストの上位に挙がってくるのは、あらゆる文章に共通して頻繁に使われる語ばかりです。 品詞情報を使って名詞に限定しても、例えば「事」や「時」などのように特定の意味をなさない汎用的な単語が上位に多数出てくるので、それらをストップワードとして除外するなどの処理が必要です。 ⑴ TF-IDFという考え方 TF-IDF（Term Frequency - Inverse Document Frequency）、直訳すると「用語頻度 - 逆文書頻度」です。 出現回数は多いが、その語が出てくる文書の数が少ない、つまりどこにでも出てくるわけではない単語を特徴的で重要な語であると判定する考え方です。 多くは単語を