形態素解析がうまくいかなかったときに試してみること - Qiita

こんにちは、データサイエンティストの島田です。今回は文章のベクトル化についてお話しようと思います。 実行環境 Python 3.6.7 Janome==0.3.6 scikit-learn==0.20.1 nltk==3.4 タスク設定 日本語の短い文章から分類問題や回帰問題を解く以下のようなタスクを想定しています。いずれも自然言語を入力として、機械学習を用いて処理できそうなタスクです。 映画のレビューから映画の評価を予測する Twitterの文章から感情の分類を推定する 商品名から商品カテゴリを推定する 自然言語を入力とする機械学習の流れ たとえば、「久しぶりに映画で感動しました」という文章があった場合に、これはそのままでは機械学習モデルの入力とすることはできません。機械学習モデルは基本的にベクトル化されたデータが入力されることを期待しています。では、文章をベクトル化するとはどういうこと