テキストエリアにニュースの本文を入れて判定ボタンをクリックすると、「国内」「海外」「IT/経済」「スポーツ」「芸能」のうち、一番近いカテゴリを出力するサイトを作りました。 50000件のニュース記事を学習させて、テストを回したときは93.2%の正答率だったので、そこそこ精度はあるはず。 実装 Facebookが無料で公開している自然言語の機械学習ツールことFasttextを使いました。 facebookresearch/fastText: Library for fast text representation and classification. これはpythonのツールではなくバイナリのコマンドなので、前処理さえしてしまえばPythonのコードを一切書かずに文章のカテゴリ推定ができます。 大まかな手順は以下 某ニュースサイトから記事をせっせとスクレイピング 文章をMecabで名詞だ
![機械学習でニュースからカテゴリを推定するサイトを作った話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/309067fa4d8747daa92102e707d00715e2aa76bd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUU2JUE5JTlGJUU2JUEyJUIwJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgxJUE3JUUzJTgzJThCJUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgyJUI5JUUzJTgxJThCJUUzJTgyJTg5JUUzJTgyJUFCJUUzJTgzJTg2JUUzJTgyJUI0JUUzJTgzJUFBJUUzJTgyJTkyJUU2JThFJUE4JUU1JUFFJTlBJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgzJTg4JUUzJTgyJTkyJUU0JUJEJTlDJUUzJTgxJUEzJUUzJTgxJTlGJUU4JUE5JUIxJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yMTQ1ZjQyNzE1YzA0N2IyZjQwYzEzNmE0NTVmY2ZmNQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwYW1hbmVrZXkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTEyNGFiODZjZGM2OTEyZjM4ZGI5NzZhODc2YmQ0Y2Fj%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Deb9a0dc29cc88f5333600018bd349756)