Twitter本文と言及URLの圧縮 - kaisehのブログ
最近、Twitterのデータを収集しています。APIで取得したtweet本文や、そこから抽出したURLを片っ端からDBに保存していくと件数が莫大になるので、ディスクスペースを極力節約したいところですが、個別のtweet本文や言及URLは短い文字列なので、普通に1件ずつgzip等で圧縮してもほとんど意味がないか、オーバーヘッドが出て逆効果になってしまいます。 そこで、収集済みのサンプルデータを元にハフマン木を作っておき、それを共通利用してtweetを圧縮してみました。 用意したのは、英語ユーザ/日本語ユーザ/韓国語ユーザ各1000人のtweetサンプルをベースにしたハフマン符号と、tweet本文から抽出したURL文字列をベースにしたハフマン符号の4種類です。 頻度表は次のようになりました。 char (en) freq (en) char (ja) freq (ja) char (ko) f
TopHatenarが全ドメインのブログに対応しました - kaisehのブログ
はてなダイアリーのランキングサイトとして公開してきたTopHatenarですが、今回、はてな以外の全ドメインのブログに対応しました。 従来のページにアクセスすると、はてな内ランキングに加えて、全ブログ内でのランキングも表示されるようになります。 はてな以外のURLを入力すると、例えば以下のようになります。 ブログサービス別に、ランキングを表示することもできます。 新規登録されたブログ（はてな以外のブログ）について 今年の1月中旬頃から、はてな以外のブログを計測開始しています。新着のはてなブックマークを定期的にチェックして、ブログと判定されたURLについては、自動登録を行っています。判定は完全ではないので、ブログ以外のサイトが登録されているケースもありますが、今後改善していきたいと思っています。 3/22現在、ブログサービス別の集計数は以下のようになっています（あくまでもTopHatenar
TopHatenar＋HatenarMapsのシステム構成 - kaisehのブログ
TopHatenarとHatenarMapsのシステム構成が、バージョンアップの度に複雑化してきて、自分でも把握しづらくなってきたので、整理する意味で図を作ってみました。 図に示したように、HatenarMapsは、S2RMIを使ってTopHatenarと協調動作しています。はてなダイアリーとはてなブックマークに関するデータをクロールしているのは、TopHatenarの側です。HatenarMapsの側では、TopHatenarのService層をS2RMI経由でコールして、集計済みのはてブ情報を取得し、クラスタリング処理の後にポリゴンを計算しています。その他、HatenarMaps上でコメントビームの表示等がリクエストされる度に、TopHatenarをコールしています。よって、HatenarMaps側のDBには、基本的にポリゴンデータしか入っていません。 以下、図中に出てくるフレームワー
HatenarMapsのブログパーツを開始しました - kaisehのブログ
HatenarMapsでの領地の状況を、ブログパーツとして貼れるようにしてみましたので、ぜひご利用ください。 こんな感じの画像を埋め込むことができます。 貼り付け用のHTMLサンプルは以下になります。"XXXXXXXX"の部分を、自分のはてなIDに書き換えてください。 <a href="http://hatenarmaps.com/view/XXXXXXXX"><img src="http://hatenarmaps.com/chart/XXXXXXXX" width="160" height="120"/></a> 指定されたIDの領地が存在しない場合は、今のところ、1×1ピクセルの空白の画像が返ってくる仕様になっています。 その他 ブログパーツ機能以外にも、HatenarMapsに2点修正を加えました。 マウスホイールでの拡大・縮小に対応しました。 年表で、領地の面積推移を棒グラフ表示
はてな村の勢力地図『HatenarMaps』を大幅リニューアルしました - kaisehのブログ
はてなダイアリーの上位ブロガーと人気エントリーを地図化したサイト、HatenarMapsを大幅にリニューアルしました。いろいろと新機能を追加しましたので、順に紹介します。 ※過去のHatenarMapsについてはこちらのエントリーをご覧ください。 新機能1: 人口を最大3000人に 今まで、HatenarMapsの収容ユーザ数は最大1000人でしたが、これを最大3000人に大幅増員しました。TopHatenarでブックマーク数が3000位以内にランクしていて、かつブックマークにタグが一定量以上付いているユーザが対象になります。 以下の画像を見ると分かるように、非常に人口密度が高くなりました。 新機能2: ブックマークコメントのビーム(？)表示 特定の領土をクリックすると、そこに対して書かれたブックマークコメントが、コメント投稿主からビームのようにアニメーションで飛んできます。 新機能3:
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
