Elasticsearch Twitter ツィート情報リアルタイム分類

テクノロジーカテゴリーの変更を依頼記事元:

medium.com

8 usersがブックマークコメント

記事へのコメント1件

注目コメント
新着コメント

kunihikokido I just published “Elasticsearch Twitter ツィート情報リアルタイム分類”

2015/12/16 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fmedium.com%2Fhello-elasticsearch%2Felasticsearch-twitter-%25E3%2583%2584%25E3%2582%25A3%25E3%2583%25BC%25E3%2583%2588%25E6%2583%2585%25E5%25A0%25B1%25E3%2583%25AA%25E3%2582%25A2%25E3%2583%25AB%25E3%2582%25BF%25E3%2582%25A4%25E3%2583%25A0%25E5%2588%2586%25E9%25A1%259E-9b721dcde799" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://medium.com/hello-elasticsearch/elasticsearch-twitter-%E3%83%84%E3%82%A3%E3%83%BC%E3%83%88%E6%83%85%E5%A0%B1%E3%83%AA%E3%82%A2%E3%83%AB%E3%82%BF%E3%82%A4%E3%83%A0%E5%88%86%E9%A1%9E-9b721dcde799">Elasticsearch Twitter ツィート情報リアルタイム分類</a><a href="https://b.hatena.ne.jp/entry/s/medium.com/hello-elasticsearch/elasticsearch-twitter-%E3%83%84%E3%82%A3%E3%83%BC%E3%83%88%E6%83%85%E5%A0%B1%E3%83%AA%E3%82%A2%E3%83%AB%E3%82%BF%E3%82%A4%E3%83%A0%E5%88%86%E9%A1%9E-9b721dcde799">はてなブックマーク - Elasticsearch Twitter ツィート情報リアルタイム分類</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

Elasticsearch Twitter ツィート情報リアルタイム分類

機械学習を使った多項分類では、教師データが必要で、教師データがない場合には、この正解データを作成... 機械学習を使った多項分類では、教師データが必要で、教師データがない場合には、この正解データを作成することがかなり大変です。例えば今回のタイトルにあるように Twitter のツィート情報をもとに任意のカテゴリーに分類したい場合、教師データを作成することも大変ですが、Twitter の特性上、特徴を抽出するためのテキスト情報も少なく、さらにせっかく作成した教師データもすぐに古くなってしまう（使い物にならない）可能性があります。なので、今回は Elasticsearch のパワーを使って大量のツィート情報をリアルタイムに分類したいと思います。システム概要一般に公開されている Twitter Streaming API (statuses/filter)を使って言語を ja のみ、キーワードを twitter にすると、実績値では、ツィート数：約４５０万件／日、インデックスサイズ：約２０ＧＢ