wikipediaとfasttextによるトピックに沿ったキーワード選択 - Qiita

概要 チャットボットの開発をしている株式会社サイシードでインターンをしていて，特定の会社のfaqチャットボットに使う類義語辞典の作成を行っていた．類義語辞典の作成を行う上で，現在使用されているのがweblio提供のオープンな類義語辞典である．しかし，これには使用しづらい単語や特定の会社の固有の単語などが少ないことがあげられる．簡単に表すと下のベン図のようなことになっている．そこで，wikipediaとfasttextを用いることであるトピックに沿った単語を選択し，もう一個下のような図になるようにより少ない単語でよりカバー範囲の高い類義語辞典を作成することが目標である． 実際やったことの概要 トピックをいくつか準備しwikipediaのページを抜き出す 二つのトピックを選び，fasttextでベクトル化し，機械学習で分類できるかを調査 fasttextがトピックの言葉を区別することができるこ