安倍首相に関するtweetデータをクラスタリングして類似を分析してみた (Part 2) - Qiita

前回までのおさらい 前回はTwitterから安倍首相に言及されたTweetをインポートし、RMeCabでトークナイズして、ストップワード等を取り除き、頻出する単語が何かを確認するところまで見てきました。Part 2では、Tweetのテキストから、Tweetをクラスタリングして類似性を分析してみます。 Tweetのクラスタリングまでの道のり 安倍首相に関するTweetを、類似するクラスタにクラスタリングするには 前回単語分けされた安倍首相関連のTweetsのテキストを使う Nグラムのアルゴリズムを使って1単語と2単語の組み合わせのテキストを作成 TF-IDFのアルゴリズムを使ってそれぞれのTweetを数値化する SVDのアルゴリズムを使って次元削減する K-Meansクラスタリングのアルゴリズムを使ってTweetsを似た者同士のグループに分ける という手順を踏んでいきます。では早速順場に見て

[hidekoji]

k-means clustering