8月中旬、facebookが公開したfastTextの仕組みを軽くまとめる。 fastTextができること 自然言語処理の範囲は広く、ものによってできるものは異なる。fastTextは、word2vecのような単語をベクトルにしたり、文章をクラス分けする(予め決まったクラスに分類する(複数クラスに入ることは可能))ことができる。ベクトル化するモデルはCBOWとskip-gramが使われている。クラス分けを行うときは、学習データに、それぞれの文章がどのクラスにあるかという教師データが必要となる。 fastTextを試す githubに公開されているので、 でコンパイル(新しめのc++コンパイラが必要)。使い方の詳細はREADME.mdを参考にしてください。 サンプルとして複数のスクリプトが用意されている。しかし、巨大なデータがダウンロードされてしまうので、するなら、時間や十分なネットワーク環
![高速と噂のfastTextの仕組み - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5135605a32c2968260dccd0a8e8c5732d67ffbdb/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUU5JUFCJTk4JUU5JTgwJTlGJUUzJTgxJUE4JUU1JTk5JTgyJUUzJTgxJUFFZmFzdFRleHQlRTMlODElQUUlRTQlQkIlOTUlRTclQjUlODQlRTMlODElQkYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWEwMWY3YjgxMzYzOWJlZGQ0NDI0NjIwOWUyNjkxNzAw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbl9rYXRzXyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZGRlZDgwYTQ3NWUxNTE5NzNlNDA4NWEzZjBhN2Y5N2E%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D3e3ad87642b1d72237a69f757a7c9b8a)