WebAPIを駆使して東京電力使用状況メーターを作る！（Perl版とJavaScript版）
WebAPIを駆使して東京電力使用状況メーターを作る！（Perl版とJavaScript版） 2011-04-02-1 [WebAPI][Programming] Yahoo!の電力使用状況API[2011-03-31-2]とGoogle Chart APIを使って「東京電力使用状況メーター」を作ることができます。 ムジログでPHPを利用した方法が解説されていました。 東京電力使用状況メーターをヤフーのAPIとGoogle Chartで作る方法 ([Mu]ムジログ) http://musilog.net/webdesign/my-works/tepco-graph.php というわけで、これを参考に Perl 版と JavaScript 版を作りました。メーターのデザインはムジログ版との互換性を保ちました（つまり、まるっきり真似しました、ということですw）。 Perl 版「東京電力使用状況
Perl の vec() で bit vector の操作
Perl の vec() で bit vector の操作 2011-04-02-4 [Programming] 後で使うために自分用メモ。 「perldoc -f vec」より。 ■テストコード： #!/usr/bin/perl use strict; use warnings; my $v = ""; vec($v, 0, 1) = 1; # 0ビット目を1に printbits($v); vec($v, 9, 1) = 1; # 9ビット目を1に printbits($v); vec($v, 0, 1) = 0; # 0ビット目を0に printbits($v); print vec($v, 0, 1), "\n"; # 0ビット目を見る print vec($v, 9, 1), "\n"; # 9ビット目を見る sub printbits { my ($v) = @_; my $b
【アイディア】圧縮率向上のための構成支援ツール
【アイディア】圧縮率向上のための構成支援ツール 2011-03-28-1 [Idea][NLP] 日本語文字列の場合（に限らないけど）、使う字種を少なくするほど圧縮率が向上する。漢字をひらがなにすると情報量が減るので（「記者」を「きしゃ」と表記すると「汽車？帰社？貴社？」と曖昧性が増える＝情報量減少）、当たり前のことだけど。 ということで、圧縮率向上のための構成支援ツールがあると嬉しい。「この文字をひらがなにするとこれだけ圧縮率が上がります」と教えてくれたり。 ひらがな化の推薦順序はどういう漢字がひらがな表記率が高いかの統計データを使う。例えば「面白い」を「おもしろい」と書くのは一般的だけど「東京駅」を「とうきょうえき」とはあまり書かない、みたいな統計データ。コーパスから得ることができる。 既出ネタかな。 ちなみに手元にある100万文字ほどの日本語テキストとそれを形態素解析器通して読みだけ
行単位のデータをカウントしてランキングする手順
行単位のデータをカウントしてランキングする手順 2011-02-09-2 [Programming] 1行1件のテキストファイル形式のデータに対して、カウントしてランキングする方法は昔からこれ。ほとんどの環境に入っている sort と uniq と cat を使用。 sort FILENAME.txt | uniq -c | sort -nr | cat -n 以下のように alias しとくとよいかも (zsh)。 alias ranking='sort|uniq -c|sort -nr|cat -n' 実行例： perl -le 'for(1..100){print int(rand(5))}' | ranking 1 26 0 2 21 2 3 20 1 4 17 3 5 16 4 ls | cut -c1 | ranking 1 39 a 2 7 t 3 7 m 4 6 s 5 6
Google Chart API で Graphviz が使える！すごい！
Google Chart API で Graphviz が使える！すごい！ 2011-02-15-3 [WebTool][WebAPI] （統計情報のグラフではなく関係性の）グラフを簡単に画像表示する方法はないかなあといろいろ調べていたら、Google Chart API で Graphviz が使えるということを知りました。Graphviz ってローカル環境にインストールするため、WebAPI全盛の今となっては若干敷居が高く感じていたので、これは非常にありがたいです。 GraphViz Charts (Experimental) - Google Chart Tools / Image Charts (aka Chart API) - Google Code http://code.google.com/intl/ja/apis/chart/docs/gallery/graphviz.h
tar でまとめてある複数のテキストファイルをディスクに展開せずに走査する
tar でまとめてある複数のテキストファイルをディスクに展開せずに走査する 2011-02-01-2 [Programming] 大量のログデータをもらってきて分析するようなときなどに表題のタスクに遭遇する。無闇に tar ball を展開するとすぐにディスクフルになりがちゆえ。 このような場合は tar の O オプション（大文字のオー）を用いる。 以下、例で説明。 data.tar.gz には 0001.txt から 1000.txt までの千個のテキストファイルが入っているとする。 (1) 行数を数えるには： tar zxOf data.tar.gz | wc -l (2) 特定の文字列を含む行を取り出すには： tar zxOf data.tar.gz | grep 'lang:ja' (3) 文字コードを変換して圧縮して置いておくには： tar zxOf data.tar.gz |
2010年 はてなブックマーク 年間書籍ランキング トップ10
2010年 はてなブックマーク 年間書籍ランキング トップ10 2010-12-13-1 [Book][Neta] 今年も残すところあと3週間ですね。 少し早いかもしれませんが、「2010年 はてなブックマーク 年間ランキング トップ100」にインスパイアされて、今年ブクマされたホットな10冊の書籍を紹介します。 はてなブックマーカーなら読んでいて当然かも！？ 【1位】20歳のときに知っておきたかったこと ブクマ数：251（12月13日現在） はてぶリンク： 発売日：3/10 【2位】[Web開発者のための]大規模サービス技術入門 ブクマ数：176（12月13日現在） はてぶリンク： 発売日：7/7 【3位】これからの「正義」の話をしよう ブクマ数：173（12月13日現在） はてぶリンク： 発売日：5/22 【4位】Webを支える技術 -HTTP、URI、HTML、そしてREST ブクマ
誤り許容カウント法(lossy count method)のサンプルプログラム
誤り許容カウント法(lossy count method)のサンプルプログラム 2010-05-12-1 [Programming][Algorithm] 1行1ラベル形式で、 1万種類のラベルを持つ、 100万行のデータがあるとします （ラベルの頻度分布はジップの法則にだいたい準拠するとします）。 各ラベルの頻度をハッシュを使ってカウントするとなると、ハッシュエントリ1万個分のメモリ容量が必要になります。（1万じゃたいしたことないな、という人はもっと大きな数に置き換えて読んでください。） しかし、カウント後に高頻度のものしか使わないということも多いと思います。例えば頻度5000以上のもののみ取り出してあとはいらない、とか。 そうなると、全部のラベルのカウントデータを最後まで保持するのは無駄に思えます。 そこで登場するのが「誤り許容カウント法(lossy count method)」。 低
【書評・感想】オンラインアルゴリズムとストリームアルゴリズム
【書評・感想】オンラインアルゴリズムとストリームアルゴリズム 2010-05-11-1 [BookReview][Algorithm] とりあえず読了。 (ref. [2007-09-13-2]) ■徳山豪 / オンラインアルゴリズムとストリームアルゴリズム (アルゴリズム・サイエンスシリーズ 5 数理技法編) 私の場合こういう教科書は「読了した」といっても「ざっと目を通した」レベルで、証明とかは「あとで理解する」とタグ付けし飛ばし飛ばしなのです。「本の内容の理解」とはほど遠いのです。 第4章の冒頭にこんな記述が。 読み方としては、まずは数式や証明の詳細はスキップして全体のストーリーとアルゴリズムの設計の手法を眺めて、その後で解析の部分の数式をチェックするというのがお奨めである。 ということで、難しいところは「あとで読む」！ 今月、来月いっぱいはちょこちょこ見直すことになるかと。 そんなわ
Perl で短縮 URL を戻すサンプルスクリプト
Perl で短縮 URL を戻すサンプルスクリプト 2010-03-29-1 [Programming] tinyurl や bitly などの短縮URLを元のURLに戻すサンプルスクリプトを Perl で書いてみました。 HEADリクエストなげて返ってくるデータを見るだけ。 コード（getlongurl.pl）： #!/usr/bin/perl use strict; use warnings; use LWP::UserAgent; my $url = shift @ARGV; my $ua = LWP::UserAgent->new(timeout => 5); my $res = $ua->head($url); my $lurl = $res->request->uri || ""; print "$lurl\n"; 実行例： % ./getlongurl.pl http://b
Bing API を使い始めてみる
Bing API を使い始めてみる 2010-03-18-2 [WebAPI] Bing Developer Center (http://www.bing.com/developers/)の右カラムの「Create an AppID」経由で、Windows Live ID を登録してから AppID を作成する。 で、「渋谷」のウェブ検索結果の100件目から5件を取得する例： http://api.search.live.net/xml.aspx?Appid=<AppID>&\ query=%E6%B8%8B%E8%B0%B7&sources=web&web.count=5&web.offset=100 なお、パラメータ web.count の範囲は 1-50、web.offset の範囲は 0-1000。アクセスは1秒間に7回未満という制限あり。 参考 - Introducing Bi
「ウェブサービスを使ったテキストマイニングとサービス適用」のURLリスト
「ウェブサービスを使ったテキストマイニングとサービス適用」のURLリスト 2010-01-26-2 [NLP][WebAPI][YahooHacks][Programming] 「第一回集合知シンポジウム」でプレゼンしたのですが、そのときデモしたり言及したりしたURLのリストです。 第一部 ウェブサービス(Web API)の基礎知識 - [を] ウェブサービス(Web API)とは？[2009-12-24-1] - [を] ウェブサービス(Web API)をプログラムから使う[2009-12-26-2] - MECAPI - MeCab Web Service (MeCab API) ttp://mimitako.net/api/mecapi.cgi ttp://yapi.ta2o.net/apis/mecapi.cgi （追記180618: 負荷が厳しいため何年か前から停止中） （追記1
第一回集合知シンポジウム（1日目）
第一回集合知シンポジウム（1日目） 2010-01-25-1 [EventReport][NLP] 1月25、26日開催の第一回集合知シンポジウムの一日目のメモ。 二日目のメモはこちらをどうぞ→[2010-01-26-1] プログラム詳細はこちらをどうぞ： - 研究会 開催プログラム - 2010-01-NLC ■類似した動作や状況を検索するための意味役割及び動詞語義付与システムの構築 竹内孔一・土山 傑・守屋将人・森安祐樹（岡山大） 単単語なら既存のウェブ検索エンジンでいいが、動作・状況を検索するには文章構造を考慮することが必要になる。 そのような集合知解析の基礎となるツールを目指す。 統計的アプローチでは難しいので（細かいところが正しくできない）、言語知識・文法知識を用いたルール規則ベースで行う。 複合名詞内係り受け、慣用句、主動詞、語義付与。 ■Q&Aサイトの「質問−回答」における結
ウェブサービス(Web API)をプログラムから使う
ウェブサービス(Web API)をプログラムから使う 2009-12-26-2 [WebAPI][Programming] 前回[2009-12-24-1]はウェブサービス(Web API)の基本的事項と、よく採用されているプロトコルとデータ構造の概要を解説した。 プロトコルとデータ構造の組み合わせ、計4つのうち3つを取り上げて、実際にプログラムから Web API を使う方法を例を用いて説明する。 今回取り上げるサンプルプログラムで使った Web API と用いたプログラム言語を表に示す： プロトコル\データ構造XMLJSON, JSONPREST風MECAPI, Perlキーフレーズ抽出API, JavaScriptSOAP, XML-RPCはてブ件数取得API, Perl- REST風 + XML Web API をREST風プロトコルでアクセスしXMLデータを得る流れを perl
楽天研究開発シンポジウム 2009
楽天研究開発シンポジウム 2009 2009-11-14-2 [EventInformation][NLP] 品川シーサイドにある楽天タワーで開催された「楽天研究開発シンポジウム 2009」に行ってきました。 - 【楽天】楽天研究開発シンポジウム2009 http://rit.rakuten.co.jp/conf/rrds2009/ 参加費1500円。 ノベルティとして PILOT の三色ボールペン。 開会挨拶 12:00-12:10 ■森 正弥（楽天技術研究所 所長） 曰く、アカデミックとビジネスを結びつける！ 基調講演 12:10-12:40 ■まつもとゆきひろ（Ruby開発者） Matz曰く、クラウド！クラウド！ イニシャルコスト低い、管理コスト不要、スケールアップが簡単。 分散処理、大量処理が現実的なコストで実現可能。 個人の発想（≒妄想）を現実化しやすくなる。 Matz曰く、イノ
Perl の utf8 まわりのおまじない
Perl の utf8 まわりのおまじない 2009-09-12-4 [Programming] 自分用メモ。 最近良く使うおまじない、というかイディオム。 utf8::decode($text) unless utf8::is_utf8($text); （追記：より良いおまじない。詳細は後述。 $text = Encode::decode_utf8($text) unless utf8::is_utf8($text); ） Perl の CGI モジュールでクエリから得られるデータの文字列のutf8フラグの有無が環境によって違うことがあってイライラ。 でもこのおまじないでなんとかなった。 こんな文脈で使う： use utf8; use CGI; ... my $text = $q->param('text') || ""; utf8::decode($text) unless utf8:
アマゾンAPIを使うのに2009年8月15日から認証が必要になるらしい
アマゾンAPIを使うのに2009年8月15日から認証が必要になるらしい 2009-05-09-1 [Programming][Affiliate][WebTool] 「Amazon アソシエイト Web サービスの名称変更および署名認証についてのお知らせ」というメールが来ました。 （追記: ほぼ同内容のものが Forum とアソシ公式ブログにもありました。ただし Forum では15日ではなく16日となっています。） さて、このたび、Amazon アソシエイト Web サービスの名称を、「Product Advertising API」と変更しましたことをお知らせいたします。この新名称は、開発者の皆様が Amazon サイトで販売されている商品の広告作成を行い、これによって Amazon より広告費を受け取るという、API の目的をより正しく表しています。 はいはい、了解しました。 「Pr
コミュニティ的な何かに使えそうな無料サイトのメモ
コミュニティ的な何かに使えそうな無料サイトのメモ 2009-05-01-1 [WebTool] アカデミック系とかボランティア系とか勉強会系とか、 そういうコミュニティで活用できそうな無料サイトやツールのメモ。 無料で使えるやつ限定。 網羅的ではないです。 随時追加していきます。 Wiki ベースとなるページ作り。 - livedoor Wiki http://wiki.livedoor.com/ - @wiki（ アット ウィキ ） http://atwiki.jp/ メールまわり メーリングリストとニュースレター。 ニュースレターはリマインダー用途も含む。 - qwikWeb - qwik.jp http://qwik.jp/ - まぐまぐ！ http://www.mag2.com/ ニュース・告知 公開ニュース。 - twitter http://twitter.com/ - Tum
檜町公園の池の中で土下座する謎の覆面男
檜町公園の池の中で土下座する謎の覆面男 2009-04-23-2 [Neta][TokyoMidtown] 東京ミッドタウンの庭、檜町公園の池のそばになにやら怪しげな人がいました。 白い覆面をかぶっています。 イーモバイルでネット接続しているノートPCを持っています。 しばらくすると池の中に入っていきました。 そして土下座を始めました。 その後、池からあがってマスクをとって顔などふいていました。 Tシャツに「地デジ」と書いてありました 以上のことから今目の前で起こったことは、前夜の事件をネタにした体をはったギャグのネット中継・録画、であったと考えられます。 (ref. SMAPの草彅剛が公然わいせつで逮捕される[2009-04-23-1]) これについての情報をお持ちの方はご連絡くださると幸いです。追記していきます。 追記: どうやらこれ（ニコニコ生放送）だったようです！ - 個人がニコ生
Yahoo! ウェブ検索 API で単語同士の近さを総当たりで調べる
Yahoo! ウェブ検索 API で単語同士の近さを総当たりで調べる 2009-02-26-2 [Programming][YahooHacks] あらかじめ用意された単語セットがあり、それぞれの単語同士の近さを検索ヒット数とそれによるシンプソン係数で求める手順について。 使用している Web API の提供が終了となったため、現在動作しません。ご了承ください。 Yahoo!デベロッパーネットワーク (YDN) のウェブ検索 API を用いる。 - Yahoo!デベロッパーネットワーク http://developer.yahoo.co.jp/ - Yahoo!デベロッパーネットワーク - 検索 - ウェブ検索 http://developer.yahoo.co.jp/webapi/search/websearch/v1/websearch.html ロジック やってることは、下記で書かれ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
