今回のKansai.pm #11は、アルゴリズム特集ということで、いつもに増して濃い話が満載で、特にPFIの吉田さんの発表が強烈でした。とても楽しかった。 そんな中、僕もSocial SKKと題してお話しをしてきました(アルゴリズム特集とは全然関係ない話題ですが……)。というか、最初はXSのはなしをするつもりだったのだけど、時間がなさそうだったのでネタを変更したのでした。XSのはなしもいつかしたいですね。 んで、そのSocial SKKとは、Social IMEをSKKからも使いたいってなもので、既にid:shunirrさんがRubyで実装されているものをPerlでもやってみて、あとちょっと機能を加えましたよ、というものです。詳しくは以下のスライドで。 あと、ここで話したApp::SocialSKKをCPANに上げておきました。 Social SKKView more presentati

昨日は第11回 Kansai.pm でした。 今回は無理を言って自分がホストを担当させていただきましたが、面白い発表が多く開催した自分も非常に満足でした。 PFI の吉田さんによる Cell Challenge での計算機に合わせたアルゴリズムのチューニング手法の発表 (発表資料) は圧巻でした。伊奈さんの本文抽出の話 (発表資料)、はこべさんのコルーチンの話 (発表資料)、いずれも難解になりがちなところを凄く分かりやすく解説されていて、さすがだなと思いました。各々ショートトークも、いずれも良かったです。 スペルミス修正プログラムを作ろう 自分も 20 分ほど時間をいただいて、スペルミス修正プログラムの作り方について発表しました。 スペルミス修正プログラムを作ろうView more presentations from Naoya Ito. スペルミス修正プログラムについてはずばり スペル

ASIN入りアマゾン商品画像URLリダイレクトCGIの雛形 2009-03-18-1 [Programming] アマゾンの商品画像のURLについて。 昔はアマゾンの商品ページにある商品画像URLには下記のようにASINが入っていました。 例：http://ec2.images-amazon.com/images/P/4822245772.01.MZZZZZZZ.jpg しかし、最近（って、もう何年もだけど）はASINが入らなくなりました。そのうえ、このURLをコピーして使っているとときどき無効になってしまったりします。 例：http://ec2.images-amazon.com/images/I/311qdsd1JaL._AA140_.jpg そこで、このブログで使うためにASINを渡すと商品画像URLへリダイレクトするCGIつくりました。CGIの雛形（テンプレート）を載せておきます。

久々のエントリです。 Locality Sensitive Hashing を perl で使うためのモジュールを書いてみました。Algorithm::LSHと名付けました。 先ほどDeveloper ReleaseとしてCPANにあげましたが、反映されるまで時間かかるので、興味ある方はcodereposからみてください。 Algorithm::LSH CPAN: http://search.cpan.org/~miki/Algorithm-LSH/ coderepos: http://coderepos.org/share/browser/lang/perl/Algorithm-LSH 超アルファバージョンな状態ですが、そのうちgithubにもupする予定。 そうそう、そう言えば WEB+DB PRESS Vol.49 にレコメンドエンジンの特集があって、その中に偶然にもLocality

Yahoo! ウェブ検索 API で単語同士の近さを総当たりで調べる 2009-02-26-2 [Programming][YahooHacks] あらかじめ用意された単語セットがあり、それぞれの単語同士の近さを検索ヒット数とそれによるシンプソン係数で求める手順について。 使用している Web API の提供が終了となったため、現在動作しません。ご了承ください。 Yahoo!デベロッパーネットワーク (YDN) のウェブ検索 API を用いる。 - Yahoo!デベロッパーネットワーク http://developer.yahoo.co.jp/ - Yahoo!デベロッパーネットワーク - 検索 - ウェブ検索 http://developer.yahoo.co.jp/webapi/search/websearch/v1/websearch.html ロジック やってることは、下記で書かれ

Yahoo! ウェブ検索 API で検索ヒット数を取り出す簡単な方法 2009-02-26-1 [Programming][YahooHacks] Yahoo!デベロッパーネットワーク (YDN) のウェブ検索 API を用いて、入力キーのウェブ検索ヒット件数だけを取り出す簡単な方法について。 ウェブサービスを用いて自然言語処理っぽいことをやろうというときの基本中の基本。 使用している Web API の提供が終了となったため、現在動作しません。ご了承ください。 - Yahoo!デベロッパーネットワーク http://developer.yahoo.co.jp/ - Yahoo!デベロッパーネットワーク - 検索 - ウェブ検索 http://developer.yahoo.co.jp/webapi/search/websearch/v1/websearch.html Y!API に投げる

最近ひたすらXSを書いていて思ったのが，XSはやっぱり速いということ。 ただ，いつでも無条件に速いというわけでもなく，何も考えずに書くとPurePerlのコードより遅くなることも珍しくない。実際，最近書いたShikaやMOPのXS版もいきなり高速だったわけではなく，一番最初のコードはPurePerlのほうが10%-30%ほど高速だった。 いろいろベンチマークをとった結果の感触として，XSの得手・不得手が分かってきたのでメモしておく。ちなみに下記で「注意を払う」というのは内部で呼ばれるmalloc()を極力減らすという意味で使っている。SVの生成自体はmalloc()を伴わないことが多い*1が，文字列の生成/連結や配列の生成/push/unshiftでは内部でmalloc()が呼ばれる可能性が高く，速度を落とす原因となる。 得手分野 ループ - XSのループが早いというより，Perlのループ

タイトル長い。っていうかそのまんまです。 #!/usr/bin/perl use strict; use warnings; use URI; my $s = 'http://example.com/?q=%82%e2%82%e9%95v%82%c5%8aw%82%d4'; utf8::upgrade($s); my $uri = URI->new($s); my %qf = $uri->query_form; $qf{flag} = 'ON'; $uri->query_form( %qf ); my $uri_str = $uri->as_string; これ、一見すると$uri_strは http://example.com/?q=%82%e2%82%e9%95v%82%c5%8aw%82%d4&flag=ONになりそうなんですが、実際には http://example.com/?q=

use strict; use warnings; sub Dump { @_ = map { sprintf "'%s'(%s)", $_, utf8::is_utf8($_) ? 'utf8' : 'bytes' } @_; print {*STDERR} join(q{, }, @_), "\n"; } no utf8; Dump( foo => 'bar' ); #=> 'foo'(bytes), 'bar'(bytes) no utf8; だもんで，両者とも bytes なのは，まぁあたりまえ。 ところが，これを use utf8; で動かすと…… use utf8; Dump( foo => 'bar' ); #=> 'foo'(utf8), 'bar'(bytes) foo の UTF8 flag が on になってる！ use utf8 にしてたので，任意の文字列リテラルが

Revilist、13桁ISBN対応しました 2008-12-28-1 [Maintenance][Programming] 先日公開した、 アマゾンの商品のカスタマーレビューを一気に表示するサイト 「Revilist」ですが[2008-12-25-1]、 ASINだけでなく13桁のISBN(ISBN-13)も使えるようにしました。 - Revilist - アマゾンのレビューを一気読み ttp://revilist.net/ ISBN-13をASIN(ISBN-10)に変換してから、 既存の Revilist の枠組みに投げるようにしています。 ■変換ロジック (1) 13桁の数字文字列から、最初の3文字と最後の1文字を削除する。 9784774133416 → 978[477413341]6 → 477413341 (2) 各桁の数字をそれぞれ左から10倍、9倍、8倍、...、3倍、2

XSとPurePerl(PP)両方の実装を持つモジュールは少なくない。たとえば： Data::Dumper List::Util/Scalar::Util (List-Scalar-Utils) List::MoreUtils Class::MOP Params::Util (>=0.35) Params::Validate Data::Util DBI JSON/JSON::XS Text::CSV/Text::CSV::XS このように一般的に使われることなのだが、その書き方は多様で定説がない。 Data::Dumperは関数を別の名前で用意し、実装を切り替えるインターフェイスを持つ。 List-Scalar-UtilsはXSがデフォルトで、さらにXSでのみ提供している関数があり、そのような関数はインストールの状態によっては利用できない。なお、そのためにTask::Weakenという特

URL を転送してリンク元 URL を分からなくする方法 2008-11-27-1 [Tips][Programming] URL を転送してリファラーを分からなくする方法について。 (1) CGI でリダイレクトする方法。 perl の例。 r.cgi : #!/usr/bin/perl print "Content-type: text/html\nRefresh: 0; URL=" .substr($ENV{PATH_INFO}.(($q=$ENV{QUERY_STRING})?"?$q":""),1)."\n\n"; (サンプルなので、use strict とかそういうのはとりあえずなしで。) http://example.com/r.cgi/http://blog.example.com/?d=080101 ↓ http://blog.example.com/?d=080101

数週間前の話になりますが、「はてブのリニューアル会見」の記事を読んでいたところ、はてブにも「自動カテゴライズによる記事分類」の機能が搭載されるとか。。。 同じようなタイミングで「似たようなモノ」というか「ほぼ同じようなモノ」を作っていたので、すごーくインスパイアされてしまいました。ジュワ〜。（アドレナリンの放出音） 数週間たってもいまだ興奮冷めやらぬ状態なので、今日はその件について書いてみようと思います。 Lingua::JA::Categorize - a Naive Bayes Classifier for Japanese document. http://search.cpan.org/~miki/Lingua-JA-Categorize-0.00001/ 「はてブのパクリ」ではありません。「ベイジアンによる日本語テキスト分類器」を「簡単に作る」ことを目的としたモジュールです。 も