RSS clusteringid:kawasakiさんの日記「Google Newsが自分で作れる？」でも取り上げられてますが、O'Reilly Radarで知った英語圏でのRSS Clustering実装例。 rssclustering 一般的なBlog,SBM等が生成するRSSにクラスタリングが適用できないかと思って、クラスタリングについて5月くらいから調査していたので、個人的にちょうどいいタイミングの記事。 簡単にまとめると、 集約期間を変更可能にするため、RSSフィードから取得したデータはDBに保存 句読点、stop word(i,you,and,to,world,national,a等)の削除 単語を基本形にする(fires,fired,fireは同じものとして扱う) 集約結果表示時は一つの情報ソースを複数のクラスタに重複表示しない(これは重複表示したほうがよい場合もあるかもしれないけど、データ量が多くなる
