テキストデータの前処理（ベクトル化、TF-IDF) - Qiita

テキストのベクトル化 テキストデータに機械学習アルゴリズムを適用するには、単語の羅列である生データから数値的な特徴ベクトルに変換する必要がある。 Bag-of-words・・・文法や語順は無視して、文章を単語の集合と捉える考え方。 ここではgensimというトピックモデル用のライブラリを用いる。 公式のチュートリアルに記載の練習用の短い9つの文からなるコーパスを使用。 from gensim import corpora documents = ["Human machine interface for lab abc computer applications", "A survey of user opinion of computer system response time", "The EPS user interface management system", "System