20 Newsgroupsで分類精度を評価(2010/6/18)のつづきです。今回は、特徴選択に挑戦してみようと思います。テキスト分類における特徴とは基本的に単語のことです。 特徴選択 前回、ナイーブベイズの出力結果で documents: 11269, vocabularies: 53852, categories: 20 accuracy: 0.802265156562となってました。documentsは訓練データの総文書数、categoriesは訓練データのカテゴリ数、vocabulariesは訓練データの総単語数を表します。テキスト分類において53852個の単語を考慮していることを意味します。しかし、この単語の中には分類に寄与しないばかりかノイズになって逆に性能を悪化させるような単語が含まれていることがあります。たとえば、the, in, toなどのストップワードがその一例です。そ
![相互情報量を用いた特徴選択 - 人工知能に関する断創録](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e7bbb0efbac1e73fd47c9fe5d4cac092ef68957/height=288;version=1;width=512/http%3A%2F%2Fhatenablog.com%2Fimages%2Ftheme%2Fog-image-1500.gif)