SentencePiece・fastTextをEPELのパッケージを使って簡単にインストールできるようになります - 2019-10-17 - ククログ

はじめに SentencePieceは、言語に依存することなく学習データから文章をトークナイズすることができるものです。 MeCabでは言語に依存した辞書が必要でしたが、SentencePieceは言語非依存なので、辞書が不要になります。 SentencePieceについて詳しくは開発者による記事があるのでそちらを参照されると理解がより深まるでしょう。 Sentencepiece : ニューラル言語処理向けトークナイザ 一方のfastTextは文書から学習してテキストを分類し、類似する単語を単語の類似度を計算することができます。 類似度をうまくつかえば、似たような文章をサジェストすることができそうです。 どちらもデータを学習させて活用するためのものですが、SentencePieceやfastTextのことを知って、ちょっと試そうとするにもやや手間が必要でした。これまではソースコードを取得し