適切なクラスタ数を推定するX-means法 - kaisehのブログ
K-means法によるクラスタリングでは、あらかじめクラスタ数Kを固定する必要があります。HatenarMapsでもK-means法を使っているのですが、クラスタ数は（特に根拠もなく）200個に決め打ちになっていました。 これに対して、X-means法というK-means法の拡張が提案されていることを知りました。X-means法を使うと、データに応じて最適なクラスタ数を推定できます。 K-means and X-means implementations http://www-2.cs.cmu.edu/~dpelleg/download/xmeans.pdf X-means法の考え方は、K=2で再帰的にK-means法を実行していくというもので、クラスタの分割前と分割後でBIC（ベイズ情報量規準）を比較し、値が改善しなくなるまで分割を続けます。 調べたところ、Javaのデータマイニングツー
ニコニコ動画データ分析研究発表会: タグの可視化 - kaisehのブログ
ニコニコ動画データ解析発表会でニコニコ大百科の宣伝を行いました（発表資料もあるよ！） - グニャラくんのグニャグニャ備忘録@はてな ニコニコ動画で使われているタグのクラスタリング結果がHatenarMapsと同じ手法で可視化されていて、興味深いです。 デンドログラムをそのまま表示するのに比べて、視覚的に分かりやすいです。ただ、Voronoi Treemapsは二分木や平衡度の低い木に適用してもあまり美しい分割にならないので、そこをどう改善するかが課題だと思います。 ちなみに、この資料（またはHatenarMaps）で使われているボロノイ分割の変形版として、エッジが曲線になる手法もあります。こっちの方が見た目的に奇麗な可能性があるので、今度試したいと思っています。
TopHatenar＋HatenarMapsのシステム構成 - kaisehのブログ
TopHatenarとHatenarMapsのシステム構成が、バージョンアップの度に複雑化してきて、自分でも把握しづらくなってきたので、整理する意味で図を作ってみました。 図に示したように、HatenarMapsは、S2RMIを使ってTopHatenarと協調動作しています。はてなダイアリーとはてなブックマークに関するデータをクロールしているのは、TopHatenarの側です。HatenarMapsの側では、TopHatenarのService層をS2RMI経由でコールして、集計済みのはてブ情報を取得し、クラスタリング処理の後にポリゴンを計算しています。その他、HatenarMaps上でコメントビームの表示等がリクエストされる度に、TopHatenarをコールしています。よって、HatenarMaps側のDBには、基本的にポリゴンデータしか入っていません。 以下、図中に出てくるフレームワー
はてな村の勢力地図『HatenarMaps』を大幅リニューアルしました - kaisehのブログ
はてなダイアリーの上位ブロガーと人気エントリーを地図化したサイト、HatenarMapsを大幅にリニューアルしました。いろいろと新機能を追加しましたので、順に紹介します。 ※過去のHatenarMapsについてはこちらのエントリーをご覧ください。 新機能1: 人口を最大3000人に 今まで、HatenarMapsの収容ユーザ数は最大1000人でしたが、これを最大3000人に大幅増員しました。TopHatenarでブックマーク数が3000位以内にランクしていて、かつブックマークにタグが一定量以上付いているユーザが対象になります。 以下の画像を見ると分かるように、非常に人口密度が高くなりました。 新機能2: ブックマークコメントのビーム(？)表示 特定の領土をクリックすると、そこに対して書かれたブックマークコメントが、コメント投稿主からビームのようにアニメーションで飛んできます。 新機能3:
ニュースの可視化サイト『Newsgraphy』を公開しました - kaisehのブログ
日本のニュースを地図化して俯瞰できる『Newsgraphy』というサービスを作りました。 Newsgraphy 6月に公開して大きな反響をいただいたHatenarMapsの可視化手法を、Yahoo!のトピックスAPIから取得したニュース記事に適用して、いろいろと機能強化を施したものがNewsgraphyです。Mashup Award 4thにも応募しています。 追記（2008/9/26）: 「HatenarMapsの可視化手法を適用」と書きましたが、これは二次元平面へのマッピング手法（Voronoi Treemap）のことで、クラスタリング手法は含んでいません。Newsgraphyは、Yahoo!で分類済みのニュースカテゴリ階層を使用しています。 ニュースの可視化と言えばnewsmapが有名ですが、newsmapよりも面白くて実用性の高いサイトを目指して開発しました。 以下、Newsgra
はてな村の地図『HatenarMaps』を公開しました - kaisehのブログ
『はてな村』のアナロジーを本当に地図にできたら面白いだろうなと思って、週末を潰して作ってみました。TopHatenarが蓄積しているDBを一部活用したサービスになっています。 Blogopolis このサービスを簡単に説明すると、はてなダイアリーのユーザに、獲得ブクマ数に応じた領土面積を割り当て、さらに似た者同士の領土を隣接させるという試みです。 地図の全体を見渡すことで、はてダの大まかなトレンドを掴むこともできるし、スケールを拡大していけば個別記事に到達することもできます。さらに、Google Mapsで検索するような感覚ではてなidやキーワードを入力して地図を探索したり、「去年と今年で勢力図がどう変わったか」を調べることもできます。 HatenarMapsはTopHatenarと同様、Javaで開発しました。フレームワーク構成もTopHatenarと一緒で、Cubby+Mayaa+S2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TopHatenarのグラフにエフェクトを追加しました - kaisehのブログ