形態素解析の結果を利用してTF法により特徴抽出をする - Qiita

はじめに 本記事では、文書分類器を実装するための特徴抽出方法としてのTF(Term Frequency method)法について解説する。 1. 形態素解析 文書分類では、文書内の単語の情報を利用する。日本語は英語のように単語の区切りが明示された分かち書き言語ではなく、非分かち書き言語であり、そのため、文書内の各文を単語に分割する必要がある。文を単語に分割し、各単語の品詞を推定することを形態素解析という。 ここでは、オープンソース形態素解析ソフトウェア MeCab(めかぶ)を使う. • http://taku910.github.io/mecab/ 2. 特徴抽出 分類問題を扱う際、一般に、データ中の、分類に利用する情報のことを特徴量と呼び、この特徴量をデータから抽出する作業を特徴抽出と呼ぶ。 文書の分類では、文書中の単語が特徴量として利用される。 文書内の各単語の出現頻度は、しばしば、単