最近、機械学習が流行っていますが、画像解析系が多くてあまり興味が出ませんでした。 しかし、Word2vecやseq2seqなどを使ってテキスト処理も機械学習で色々遊べることに最近気がついたので、まずは簡単な所から試してみることにしました。 この文章は トレタ Advent Calendar 2017 (紹介ブログ)の一環で書いてみました。よければ他の日の記事も見てください。 なにをしよう? トレタでは社内ドキュメントの管理にesaを使っています。 こういうドキュメント管理で難しいのは文章が散らばることですよね。 同じ「プロジェクトA」の文章でも開発や営業など、部署毎にドキュメントがまとめられていたりします。 しかも同じような単語があちらこちらで使われているため、全文検索だとノイズが多くなり利便性が低くなります。 解決策としては文書毎に正しくタグ付けすることですが、それを徹底するのも現実的で
![fastTextでesaに書かれた文章を分類する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/4fecd714d8ae3205535ff850d0d71b896016a5ea/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9ZmFzdFRleHQlRTMlODElQTdlc2ElRTMlODElQUIlRTYlOUIlQjglRTMlODElOEIlRTMlODIlOEMlRTMlODElOUYlRTYlOTYlODclRTclQUIlQTAlRTMlODIlOTIlRTUlODglODYlRTklQTElOUUlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ21pZGRsZSZzPWM5MmFkNWViZDM2MjY4Y2RkZDAwMWQ3Yjc0MGEwODE5%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbWFzdWlkcml2ZSZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YjNmYjQwODI3MDcwMWExNGYyNTZlOWRkMTc4YjBmMjI%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D37e6d57a0b5562130f3e300bc3e51452)