第6回 はてなブックマークの可視化（後編） | gihyo.jp
はじめに 最終回となる今回は、これまでの学習内容のまとめとして、はてなブックマークの人気エントリーをツリーマップとして可視化します。 この可視化では、ノードの表示位置によってブックマークのカテゴリ特性を、ノードの大きさによってブックマーク数を、そして色によってブックマークの「コメント率」を、それぞれ視覚的に表現します。 ソースコードのダウンロード 今回作成するプログラムのソースコードは、こちらから一括してダウンロードすることができます。ZIPファイルを展開して生成されるフォルダを、プロジェクトとしてNetBeansに読み込むことも可能です。 特徴量ベクトルの生成 前回のプログラムでは、はてなブックマークにユーザーが付与したタグの一覧を収集しました。このタグ情報を特徴量ベクトルに変換し、第2回で作成したMultiVectorクラスのインスタンスとして表現することを考えます。 このとき問題とな
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてブユーザ間の類似度 - Life like a clown
注目の動画問題と総合メディア論事件との関連 いつか書こうと思いつつ随分と放置していた話題．きっかけは，NO!と言えるようになりたい：「注目の動画」は本当に劣化したのかより．注目の動画（特にニコニコ動画側？）にアイドルマスターやらアニメ関係の動画ばかりが挙がっていて[これはひどい]と言う話題が一時期盛んでした．これに関連して，ひとつ気になっていたことがあったので調べてみました． 注目の動画（ニコニコ動画）からidolm@sterタグのついているエントリを新しいものから50個抜き出して，それらのエントリをブックマークしているユーザの分布を調べました．その結果がこちら（完全なログ：user_dist_nicovideo.log）．一番右がユーザ名で，その隣が50エントリの中でそのユーザがブックマークしていたエントリの数です． get 50 entries 0 47 Ubuntu 1 44 ak9
はてダのはてブ内人気記事ベスト50を取ってくるperl script - あそことは別のはらっぱ
http://d.hatena.ne.jp/tragedy/20080522/p1で作っているベスト50つうのは、本人も言うとおり『d.hatena.ne.jp』 の人気エントリー - はてなブックマークを成形したものだそうで。 であれば、普通にスクレイピングしてくればいいのかな、ということで。 #!/usr/bin/perl use strict; use Web::Scraper; use URI; use utf8; # init my $entry_body = scraper { process '.entry-body > a.bookmark', 'url' => '@href'; process '.entry-body > a.bookmark', 'title' => 'TEXT'; process '.entry-body > a.domain' , 'writer'
自分の経験の枠組みは自分で変えられるか？ - アンカテ
例によってメタな方向に話を広げようと思うんだけど、Ruby VS PHP論争の背後には「自分の経験の枠組みは自分で変えられる」という発想の有無という問題があるのではないだろうか。 そう思ったきっかけはこれ。 影響力のある人 - L'eclat des jours(2008-01-31) artonさんは、Matzにっき(2008-01-29)のコメント欄にあった、「影響力の大きい人が発言してるので怒ってます」という一言レスに着目して、興味深い考察をしている。 影響力のある人ってのは、つまり権威ってことなんだし、自分で吟味しない人は常に一定の割合でいて（そうでなければ、世の中に権威という存在はありえないわけだが、実際、存在している）その人たちに影響を与える。 ってことは、権威がある人は、だめなものはだめ（良いものは良い）、と言うべきですね。 私も全くその通りだと思ったけど、冒頭のように考えて
Fenrir's BLog: OthelloAI その2
オセロをコンピュータで解く課題ですが、前の記事のルールの実装に続き、コンピュータが自分の手筋を決定するためのアルゴリズムの作りこみを行いました。 アルゴリズムとしては、盤面の状態が自分にとって有利かどうかを判断するための評価関数算出法としてベイズ推定を採用しました。また、その算出法ができるだけ確からしい値になるように経験をつませるため、強化学習(ぽいもの)を組み合わせました。 ソースを置いておきます。Rubyで書いてあります。 課題の対象は6x6のオセロ、現在学習中。 経験を積ませる過程で問題となったのがRubyの実行速度です。プログラムが高速に動けば動くほど、経験を多く積むことができ、賢くなるはずです。 ところが、Rubyは公式ページのチュートリアルにもあるように『RubyはCなどに比べて開発速度は速く，実行速度は遅い．』ので、Rubyに実行速度を求めるのはかなり問題があります。今回は課
べるべる研究日誌 - RubyでYahoo日本語形態素解析Webサービスを使ってみる
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク Yahooから日本語形態素解析Webサービスが出たとか。MeCabとか使って昔にやったこともあるなぁと思いながらRubyでちょちょっと書いてみました。ほうほう、これはWebアプリ屋には便利。 $KCODE="u" require 'rexml/document' require 'open-uri' def Yahoo_TextAnalyze(text) appid = 'YahooDemo' #自分のAPI_IDと置き換え uri = 'http://api.jlp.yahoo.co.jp/MAService/V1/parse' result = Array.new() body = open("#{uri}?appid=#{appid}&results=ma&sentence="+URI.encode("#
Yahoo形態素解析サービスを使って閲覧中ページのキーワードクラウドを表示するGreaseMonkeyスクリプト (nakatani @ cybozu labs)
« Twitter & もごもごクライアント Twiggee 新版リリース | メイン | Javascriptでdiffる ( with 形態素解析 ) » Yahoo形態素解析サービスを使って閲覧中ページのキーワードクラウドを表示するGreaseMonkeyスクリプト Yahoo! Japan から 日本語形態素解析Webサービス がリリースされて、「ほほう」と思っている人も多いかと思います。 mecab などをサーバにインストールすれば今まででも形態素解析を使用したサービス(特に需要が多いのは分かち書きかな？)を提供することは可能だったわけですが、形態素解析は結構重い処理なので、非力なサーバだと少々しんどくて困っていたり、そもそもそういったアプリケーションをインストールできないサーバなために形態素解析の利用を断念していたなんて人には結構朗報かもしれません。 個人的には JSONP に
Matzにっき(2007-12-11) - MORI LOG ACADEMY: なんとなく節目かも
<< 2007/12/ 1 2 1. [教会] 子供を理解することの力 3 1. マシン不調 2. ConsistentHashing - コンシステント・ハッシュ法 3. The Chord/DHash Project - Overview 4. [Ruby] 市報松江12月号 5. [Ruby] 山陰中央新報 - 島根県の産業活性化戦略 住みたくなる環境も必要 6. 梅田望夫×まつもとゆきひろ対談「ウェブ時代をひらく新しい仕事，新しい生き方」(前編)：ITpro 4 1. 新ディスク 2. 梅田望夫×まつもとゆきひろ対談「ウェブ時代をひらく新しい仕事，新しい生き方」(後編)：ITpro 3. [言語] YouTube - Upcoming Changes to the JavaScript Language 5 1. [Ruby] 新潟 - Rubyビジネスセミナー 6 1. 取材 2
livedoor Developers Blog:String::Trigram でテキストの類似度を測る - livedoor Blog（ブログ）
こんにちは。検索グループ解析チームの nabokov7 です。 今回は、livedoor キーワードでの事例より、テキストの類似度を測るのに便利な手法を紹介します。 livedoor キーワードは、livedoor ブログでその日その日で話題になった語をランキング表示するサービスです。 当初、はてなキーワードやWikipediaを足して2で割ったようなサービスを作れといった開き直った指示のもとで開発が開始されたともいう、分社化前の芸風の名残で、キーワードの検索結果にはユーザが自由に解説を書き込める Wikipedia 的スペースもついています。 で、この解説部分に、さまざまなサイトから文章をまる写ししちゃう人がとても多いのですね。 特に多いウィキペディア日本語版からの剽窃を防止するために、livedoor キーワードでは以下のような対策を講じることにしました。 ウィキペディア日本語版の解説
ニフティが「@nifty TimeLine β」などのAPIを公開 ― ＠IT
2007/08/08 ニフティは8月8日、@niftyで提供するサービスのAPI（Application ProgramInterface）を@nifty WebServiceで公開すると発表した。「@nifty TimeLine β」「アバウトミーβ」「トピックイット」という3つのサービスのAPIを公開する。増加するマッシュアップサービスの引用元として開発者に広く認知されることを目指す。 「@nifty TimeLine β」は、ユーザーが記録した情報をタイムライン（年表）で登録し、共有するサービス。公開するAPIは大きく4種類。「TimeLineの情報を取得し、編集できるAPIと、「できごと」の情報を取得・編集できるAPI、ユーザー情報の取得API、および、カテゴリを取得するAPIである。同社では、TimeLine自体のAPIの公開も予定している。 「アバウトミーβ」は、ユーザーがイン
2007-07-28
※2007/08/03 追記：続編記事があります。シリーズもののグラフ化。＞「涼宮ハルヒ」の場合はこんな感じ。、さよなら絶望先生の場合と、どうぶつの森とドラクエの比較はこんな感じ。 「夕凪の街 桜の国」公開記念企画(?)。 ベストセラー、ロングセラーの売れ方というか、そういう話。 「夕凪の街 桜の国」は現在累計25万部*1。はてなダイアリーでは、「含む日記」が854件*2になっています。 これは、実はかなり多い、というか、単巻の漫画としては驚異的に多い数値なんですわ。 で、http://d.hatena.ne.jp/asindiary/4575297445の様なページで、ISBN記法、ASIN記法で書かれたその書籍の言及頻度、言及数を知ることが出来るんですが、これをグラフ化してみるとなかなか興味深いという話。 今回は、分かりやすいのと特異な感じの言及をされてるのを探して、「言及数」と「累計
スターfriend集計(半自動) - 仮説製造工場 - 石々混淆
そろそろ自動集計でてこないかな スターfriend集計（人力） - ネットランダム改 というわけで作りました。バッチ処理だけど。 前に取得したはてなブックマークのユーザ19781人だったかどうか忘れたけどその人のFriendsを取ってきてFriendsのFriendsを取得...を繰り返しましたところ、7回くらい繰り返してFriendsを取得し残したユーザーはなくなりました、と。どんな人でも6Hopとかいうベーコン数でしたか、あれはあながち間違いでもないのかもしれませんね。 ユーザ friends id:extramegane 112 id:massunnk 105 id:essa 101 id:fk_2000 90 id:jkondo 87 id:sirouto2 77 id:nekoprotocol 75 id:umedamochio 53 id:koutyalemon 50 id:t
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
メディア・パブ: グーグル帝国の全貌，全製品を相関図で俯瞰する
上は，フランスのGoogleブログに掲載されていたGoogle全製品(サービス）の相関図である。労作だ。 Websearch，Answers，Zeitgeist，Docs＆Spreadsheets，YouTube，Blogger，Picasa，Reader，Finance，News，Double Click，AdSence，Trends，Gmail，iGoogle，Maps，FeedBurner，Analytics・・・・。その他，膨大な各種ＡＰＩ。こうした100種を越える製品（サービス）同士が密接に関連している姿を鳥瞰できる相関図である。その一部を抜き出した図を以下に示す。 Google帝国の総合パワーは末恐ろしいということか。それにしても，いつのまにか，Googleサービス中毒から抜け出せなくなっている自分自身が恐ろしい。 ◇参考 ・Carte des services Google（
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ノベログコンバーター
@nifty WebService - @niftyのウェブサービスを使ってアプリケーションを作ってみよう -
http://d.hatena.ne.jp/drawnboy/20050816/1124192505
はてなブックマークAtomAPIとは - はてなダイアリー
