fastTextとDoc2Vecのモデルを作成してニュース記事の多クラス分類の精度を比較する - Qiita概要 自然言語処理で文書をベクトル化する手法として、fastText と Doc2vec のどちらが良いのかと思い、試してみることにしました、という趣旨の記事です。 ソースコード 今回の実験のために実装したコードはこちらに上げてあります。 https://github.com/kazuki-hayakawa/fasttext_vs_doc2vec また、記事本文中ではライブラリのimport文などは省略している箇所もありますので、それらに関しては上記ソースコードをご覧ください。 ディレクトリ構成 以下のようなディレクトリ構成です。２つのモデルを作成して、最終的に classifier.py で文書の分類を実行します。 fasttext_vs_doc2vec ├ dataset │ ├ news_text (ニュース記事本文格納ディレクトリ) │ └ make_dataset.py ├ li
