「電子書籍の衝撃」出版記念講演会に行ってきました
「電子書籍の衝撃」出版記念講演会に行ってきました 2010-04-06-1 [EventReport][Book] 「電子書籍の衝撃」出版記念の佐々木俊尚さんの講演会へ行ってきました(ref. [2010-04-03-2])。 ■佐々木俊尚 / 電子書籍の衝撃 キンドルに続き、アップルiPad 登場。それは、本の世界の何を変えるのか? 電子書籍先進国アメリカの現況から、日本の現在の出版流通の課題まで、 気鋭のジャーナリストが今を斬り、未来を描く。 本が電子化される世界。 それは、私たちの「本を読む」「本を買う」「本を書く」という行為に、 どのような影響をもたらし、どのような新しい世界を作り出すのか? 講師：佐々木俊尚（著者） 開催日：2010年4月6日（火）19：00～21：00（開場18：30） 会場：ディスカヴァー・トゥエンティワン 3階大ホール （東京都千代田区九段南2-1-30 イ
DCGによるスコア付きランキング出力結果の評価
DCGによるスコア付きランキング出力結果の評価 2012-04-11-1 [Programming][Algorithm] スコア付きランキング出力結果のDCG(Discounted Cumulative Gain)による評価についてのメモ。DCGは関連度の高い要素が上位にあればあるほど評価が高い、という考え方に基づく。 出力結果の順位iの要素はスコア（関連度Ri）を持っている。DCGの計算ではそれを用いる。 順位p（p位）までの結果に対するDCGp： 例：上位5位のそれぞれのスコアが「3,0,2,1,1」のときのDCGは： ■サンプルコード(dcg.pl)： #!/usr/bin/perl use strict; use warnings; my @r = (3,0,2,1,1); my $cum = $r[0]; for (my $i = 1; $i < @r; $i++) { $cu
Google AdSense の情報を閲覧するiPhoneアプリ
Google AdSense の情報を閲覧するiPhoneアプリ 2012-02-09-3 [iPhone][Affiliate][Money] iPhoneで手軽にアドセンス情報をブラウズしたいと思い、無料アプリを調べてみた。どれもチャネル単位の集計はできない。 iAdSense - 通過単位変換にバグあり。値がおかしい。 iSense - なぜか詳細情報の読み込みが機能しないので CTR などがわからない。 QuickAdsense - 今日、昨日、今月、先月。 bAdSense Lite - 今月、直近一週間の各日（今日、昨日を含む）。 結論：bAdSense Lite をメインにし、先月の情報を知りたいときだけ QuickAdsense を用いる。 追記120213: この記事を書いた後に QuickAdsense が神アップデートされました。チャネルごとの収入も見れるようになりま
ハイパーカードを作ってみたよ
ハイパーカードを作ってみたよ 2006-03-23-3 [Neta] ハイパーカードといっても昔あったマックのソフトではなく、 紙などを折り曲げるパズルらしい。 例えば、一見するとどうやって作るのか謎の不思議な紙片： 真中が取っ手・ツマミのように立っています。 「貼り合わせたんじゃないの？」という疑惑もありますが完全否定！ 普通の紙に切れ目を入れて折るだけですよ。 ネタばれ写真も載せておきます。→ ぜひ作ってみてください。なごみます。 いっぱい作って配ってまわると喜ばれるかもしれません（無保証）。 ref. ハイパーカード <http://www.kiyori.co.jp/Users/kiyori/impossible/HypercardHistory.htm> in 不可能物体ギャラリー <http://www.kiyori.co.jp/~kiyori/impossible/>
Yahoo! ウェブ検索 API で検索ヒット数を取り出す簡単な方法
Yahoo! ウェブ検索 API で検索ヒット数を取り出す簡単な方法 2009-02-26-1 [Programming][YahooHacks] Yahoo!デベロッパーネットワーク (YDN) のウェブ検索 API を用いて、入力キーのウェブ検索ヒット件数だけを取り出す簡単な方法について。 ウェブサービスを用いて自然言語処理っぽいことをやろうというときの基本中の基本。 使用している Web API の提供が終了となったため、現在動作しません。ご了承ください。 - Yahoo!デベロッパーネットワーク http://developer.yahoo.co.jp/ - Yahoo!デベロッパーネットワーク - 検索 - ウェブ検索 http://developer.yahoo.co.jp/webapi/search/websearch/v1/websearch.html Y!API に投げる
行単位のデータをカウントしてランキングする手順
行単位のデータをカウントしてランキングする手順 2011-02-09-2 [Programming] 1行1件のテキストファイル形式のデータに対して、カウントしてランキングする方法は昔からこれ。ほとんどの環境に入っている sort と uniq と cat を使用。 sort FILENAME.txt | uniq -c | sort -nr | cat -n 以下のように alias しとくとよいかも (zsh)。 alias ranking='sort|uniq -c|sort -nr|cat -n' 実行例： perl -le 'for(1..100){print int(rand(5))}' | ranking 1 26 0 2 21 2 3 20 1 4 17 3 5 16 4 ls | cut -c1 | ranking 1 39 a 2 7 t 3 7 m 4 6 s 5 6
Google Chart API で日本の都道府県に自由に色が塗れる！すごい！
Google Chart API で日本の都道府県に自由に色が塗れる！すごい！ 2011-02-16-3 [WebTool][WebAPI][Geography] Google Chart API のページを見ていたら地図に色塗りできる API があるのを知りました。地域コードと色を指定すると色塗りされた地図画像が返ってくるという API です。世界中の地域の地図が対象です。これは使える！ Map Charts - Google Chart Tools / Image Charts (aka Chart API) - Google Code http://code.google.com/intl/ja/apis/chart/docs/gallery/new_map_charts.html 私としては地域情報＋テキストマイニングの結果を日本の都道府県に色塗りしたいです。さっそく使ってみよっと
ステミングとは？
ステミングとは？ 2008-01-20-1 [IIR][NLP][Algorithm][Programming] 「Introduction to Information Retrieval」[1]の第二章 （次回の輪講の範囲）の2.2.4に出てくるステミング (Stemming) の 話題をまとめました。 § 英語などの欧米系の言語では、 意味的には同じ単語が語形変化により表層文字列が異なることがある。 例えば、"retrieves", "retrieved", "retrieving", "retrieval" などで[2]、実用上これらを同じ意味のものと見なし インデックス作成時に同じ単語として扱いたいという要求がある。 ステミング (stemming) はこのような語形変化を取り除き 同一の単語表現に変換する処理である。 ステミングの手法として、 ポーターのアルゴリズム (Port
[を] 転置インデックスによる検索システムを作ってみよう！
転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-IDF[2005-10-12-1] を用いました。 検索対象ファイルは一行一記事で以下のフォーマットとします。 [記事ID][SPC][記事内容]\n 記事IDは数字、記事内容は UTF-8 の文字で構成されるものとします。 以下のようなサンプル test.txt を用意しました。 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ
検索における適合率 (Precision) と再現率 (Recall)
検索における適合率 (Precision) と再現率 (Recall) 2008-01-17-1 [IIR] 「Introduction to Information Retrieval」[1] の輪講の第一回[2008-01-12-1]でちらっと話しましたが、第一章の 1.1 に Precision と Recall の説明があります（第八章でも出てきます）。 若干混乱しやすくややこしい話なので、ここで改めて解説します。 § Precision (適合率) とは、 全検索結果に対しての、 検索要求 (information need) を満たす検索結果の割合です。 例えば、 「MacBook Air の重量を知りたい」という検索要求を満たすために検索キー「MacBook Air 重さ」でウェブ検索した結果100件のうち、検索要求を満たす（重さが分かる）のが85件だとすると、 Precis
形態素解析と検索APIとTF-IDFでキーワード抽出
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード候補が含まれるドキュメ
URLに「#」＋アフィリエイトIDを足すことでページ内のアマゾンリンクをアフィリエイトリンクにする仕掛け「オープンアサマシ」
URLに「#」＋アフィリエイトIDを足すことでページ内のアマゾンリンクをアフィリエイトリンクにする仕掛け「オープンアサマシ」 2010-09-03-4 [Affiliate][Programming][SEO][Idea] URLの最後に「#」とその後の文字列がついていることがあります。 例えば「http://example.com/20100901.html#p01」みたいなの。 「#」の後ろの文字列は「フラグメント識別子」と言います。 URLに自分のアマゾンアソシエイトIDをフラグメント識別子として記述すると、それをたどって開いたそのページ内のアマゾン商品リンクを 自分のアフィリエイトURLに変換してくれるという仕掛けを作りました。 とりあえず「オープンアサマシ(Open Asamasi)」と命名しておきます。 （「アサマシ」についてはこちらを→[2007-03-27-3]） 設置の利
Emacs 初心者のための最低限のコマンド表
Emacs 初心者のための最低限のコマンド表 2007-01-11-1 [Tips] 最強のエディタである Emacs はその敷居の高さでも最強かも。 なんてったってコマンドが多すぎで初心者はブルーになりがち。 しかもまわりの Emacs ユーザに使い方なぞ聞いた日にゃ、 「入門段階ではそもそも使いこなせないようなすごい機能」 の説明を嬉々として始めたりしがちで手に負えない。（偏見） というわけで、初心者向けに 「最低限これだけ使えればとりあえず大丈夫」 と思うものをまとめてみた。私も普段からよく使うコマンドたちである。 主に「Emacs操作キー一覧」 (http://www.magic.mediawars.ne.jp/tips/emacs_key.html) から抜粋。 上下左右へ移動C-p, C-n, C-b, C-f行頭・行末へ移動C-a, C-e1画面進む・戻るC-v, M-vファ
Twitter のストリーミング API を試す
Twitter のストリーミング API を試す 2010-04-15-2 [WebAPI][Programming] 今日から始まった謎のツイッタードラマ(?)を横目に、ツイッターの Streaming API を試してみました。この本を参考にしました。 ■辻村浩 / Twitter API プログラミング (ref. [2010-04-14-1]) ストリーミングAPIって何かというと、タイムラインがひたすらだらだらと流れ続けるAPIです。 以下紹介するのは契約無しで自由に使えるバージョンで、タイムラインから適当に間引いて全体の5%くらいが取得できるみたい。 噂では億単位のお金を払えばほぼ100%取れたりするみたいだけどよく分からない。 使い方を curl コマンドで説明。 JSONで欲しい場合はこう（U=アカウント名、P=パスワード）： curl -uU:P http://strea
五つの単語のそれぞれの関連度を求める「kanren five（関連5）」
五つの単語のそれぞれの関連度を求める「kanren five（関連5）」 2010-02-27-1 [Release][NLP] 昨年2回高校へ授業（実験教室）に行きました(ref. [2009-11-11-2][2009-12-14-3])。 その授業で行った実習（グループワーク）のために、新規に作ったネットサービスを紹介します。 実際の授業では、単語間の関連度の強弱を実際にウェブ検索して調べるという実習が大部分を占めました。グループワークで5つの単語を適当にあげてもらい、それぞれの単語同士の関連度（検索ヒット数をベースとしたシンプソン係数）を求めてもらいます。5つで総当りすると大変なので、簡単なマッシュアップサイトを作って、生徒にはそこに5つの単語を入れてもらうことにしました。 そのマッシュアップサイトが「kanren five（関連5）」です。5つの単語を入れるとすべてのペアのシンプ
入力された名前で適当に成分分析するロジック
入力された名前で適当に成分分析するロジック 2010-02-08-1 [Programming] 一時期流行した「○○成分分析」を簡単に実現する方法。 サンプルとして perl のコード片で解説する。 コード（seibun.pl）： #!/usr/bin/perl use strict; use warnings; use utf8; use Encode; use open ':utf8'; binmode STDIN, ":utf8"; binmode STDOUT, ":utf8"; my @data = ( ["パン", 37], ["甘夏", 19], ["苺", 41], ["納豆", 23], ["LOVE", 31], ); while (<>) { chomp; my $r_ref = name2seibun($_, \@data); foreach my $i (@$r
「ウェブサービスを使ったテキストマイニングとサービス適用」のURLリスト
「ウェブサービスを使ったテキストマイニングとサービス適用」のURLリスト 2010-01-26-2 [NLP][WebAPI][YahooHacks][Programming] 「第一回集合知シンポジウム」でプレゼンしたのですが、そのときデモしたり言及したりしたURLのリストです。 第一部 ウェブサービス(Web API)の基礎知識 - [を] ウェブサービス(Web API)とは？[2009-12-24-1] - [を] ウェブサービス(Web API)をプログラムから使う[2009-12-26-2] - MECAPI - MeCab Web Service (MeCab API) ttp://mimitako.net/api/mecapi.cgi ttp://yapi.ta2o.net/apis/mecapi.cgi （追記180618: 負荷が厳しいため何年か前から停止中） （追記1
ウェブサービス(Web API)をプログラムから使う
ウェブサービス(Web API)をプログラムから使う 2009-12-26-2 [WebAPI][Programming] 前回[2009-12-24-1]はウェブサービス(Web API)の基本的事項と、よく採用されているプロトコルとデータ構造の概要を解説した。 プロトコルとデータ構造の組み合わせ、計4つのうち3つを取り上げて、実際にプログラムから Web API を使う方法を例を用いて説明する。 今回取り上げるサンプルプログラムで使った Web API と用いたプログラム言語を表に示す： プロトコル\データ構造XMLJSON, JSONPREST風MECAPI, Perlキーフレーズ抽出API, JavaScriptSOAP, XML-RPCはてブ件数取得API, Perl- REST風 + XML Web API をREST風プロトコルでアクセスしXMLデータを得る流れを perl
ウェブサービス(Web API)とは？
ウェブサービス(Web API)とは？ 2009-12-24-1 [WebAPI][Programming] Webサービス(Web API)とは、ユーザがウェブ経由で他の人・会社が持っているデータや処理をアクセスして使うための技術。 プログラムから呼び出して使うことが多く、それを前提としたプロトコル、データ構造となっている。 商品検索、ウェブ検索、ソーシャルブックマーク、写真サービス、ツイッター、カレンダー、番組表、天気予報情報、路線情報、漢字変換、キーワード抽出、ウェブページのサムネイル、位置情報、地図情報、認証などさまざまなサービスで Web API が提供されている。 このような Web API を組み合わせてサイトやアプリケーションを作ることをマッシュアップと呼ぶ。 プロトコル Web API で利用されるプロトコルは大まかに下記の二つに分けられる。 (1) REST風 (2)
ChaSenで半角文字列を文字に区切らないようにする
ChaSenで半角文字列を文字に区切らないようにする 2006-02-25-3 [Tips] 茶筌ネタ。 半角アルファベット・数字を文字単位に区切らないようにするには？ デフォルトだとこうなってしまいます： % chasen 第26回Wiki小話 第 ダイ 第 接頭詞-数接続 2 ニ 2 名詞-数 6 ロク 6 名詞-数 回 カイ 回 名詞-接尾-助数詞 W ダブリュー W 記号-アルファベット i アイ i 記号-アルファベット k ケイ k 記号-アルファベット i アイ i 記号-アルファベット 小話 コバナシ 小話 名詞-一般 EOS そこで chasenrc を ~/.chasenrc にコピーして、 ;(COMPOSIT_POS ((名詞 数)) ; ((記号 アルファベット))) のコメント（行頭のセミコロン）を取ります。 するとアルファベット・数字連続が一単語として認識され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
