sklearnテキスト分類で、vectorizerの種類とオプション指定が精度に与える影響を検証する - Qiita

教師データとしてlivedoorニュースコーパスから抽出したタイトルとカテゴリのペア7367件（カテゴリ数9）を用いました。半数のデータを使ってナイーブベイズで学習した分類モデルの精度を残りのデータで評価する、という試行を各学習条件に対して１００回ずつ行いました。結果を以下に示します。 精度の平均値が最も高かったのは、(vectorizer, tokenizer, ngram_range, binary) = (CountVectorizer , word, (1,3), True)の条件で、平均値は0.812でした。精度の平均値が最も低かったのは、(vectorizer, tokenizer, ngram_range, binary) = (HashingVectorizer, word, (3,3), False)の条件で、平均値は0.812でした。 要因別で見ると、vectorize