Aho Corasick 法 - naoyaのはてなダイアリー
適当な単語群を含む辞書があったとします。「京都の高倉二条に美味しいつけ麺のお店がある」*1という文章が入力として与えられたとき、この文章中に含まれる辞書中のキーワードを抽出したい、ということがあります。例えば辞書に「京都」「高倉二条」「つけ麺」「店」という単語が含まれていた場合には、これらの単語(と出現位置)が入力に対しての出力になります。 この類の処理は、任意の開始位置から部分一致する辞書中のキーワードをすべて取り出す処理、ということで「共通接頭辞検索 (Common Prefix Search)」などと呼ばれるそうです。形態素解析、Wikipedia やはてなキーワードのキーワードリンク処理などが代表的な応用例です。 Aho Corasick 法 任意のテキストから辞書に含まれるキーワードをすべて抽出するという処理の実現方法は色々とあります。Aho Corasick 法はその方法のひと
Latent Semantic Indexing - naoyaのはてなダイアリー
情報検索におけるベクトル空間モデルでは、文書をベクトルとみなして線形空間でそれを扱います。この文書ベクトルは、文書に含まれる単語の出現頻度などを成分に取ります。結果、以下のような単語文書行列 (term document matrix) が得られます。 d1 d2 d3 d4 Apple 3 0 0 0 Linux 0 1 0 1 MacOSX 2 0 0 0 Perl 0 1 0 0 Ruby 0 1 0 3 この単語文書行列に対して内積による類似度などの計算を行って、情報要求に適合する文書を探すのがベクトル空間モデルによる検索モデルです。 見ての通り、単語文書行列の次元数は索引語の総数です。文書が増えれば増えるほど次元は増加する傾向にあります。例えば索引語が100万語あって検索対象の文書が 1,000万件あると、100万次元 * 1,000万という大きさの行列を扱うことになりますが、単
GNU screen いろいろまとめ。 - naoyaのはてなダイアリー:
先日人力検索で GNU screen の設定TIPSについて質問してみたところ、かなーり役立つ設定とかをたくさん教えてもらうことができました。みなさん感謝。 そんで、教えていただいた通りにカスタマイズした結果、こんな感じのスクリーンショットが撮れました。MacOSX のターミナルです。 おかげさまでかなり便利になって作業効率が上がったと思います。いろいろ教えてもらったお礼とまではいきませんが、やった設定とかをはまりどころとかも交えて紹介してみます。名付けてリバースNDOメソッド。ちなみに、知ってる人にはごく当然のことが当たり前のように書いてるので、あんまり役に立たないかもしれません。 hardstatus alwayslastline で最終行にウィンドウ一覧を表示 これは今回の質問とは直接関係ないのですが、やるとやらないとでかなり使い勝手が違うので。 hardstatus alwaysl
DarwiinRemote でプレゼン - naoyaのはてなダイアリー
そうそう、昨日のライブドアでのセミナーは ma.la と僕のプレゼンの二本立てだったんだけれども、その ma.la が Wii コントローラをリモコン代わりにプレゼンを操作してました。 DarwiinRemote (名前がイカス) を使って早速の Hack。 http://blog.hiroaki.jp/2006/12/000433.html 本人も特にその点にも触れてなかったし、後ろの方からだと気づきづらかったと思うのですが、昨日の面白トピックということで。 Wii コントローラは単体で買えて4,000円くらいだそうなので、普通のプレゼン用デバイス買うより安いしかっこいいんでない? なんて話をしてました。 Wiiリモコン メディア: Video Game購入: 2人 クリック: 138回この商品を含むブログ (68件) を見る
バイト募集してます。 - naoyaのはてなダイアリー
手前味噌であれですが はてなでは各種サーバーネットワークの運用アシストを募集しています。はてなの技術担当社員の指示に従って働いてもらうため、高度なスキルは必要ありませんが、経験に応じて様々な仕事をしてもらいます。 ということでつい先日からサーバー、ネットワーク関連のバイトを募集してます。 自分語りをさせていただきますと、僕がいまの仕事につくにあたって非常に重要な活動だったなあというのがありまして、それが大学のネットワーク管理のバイトでした。青山学院の理工キャンパスのネットワークを管理してたんですが、まあ仕事の内容はいま思うとお粗末というか、やばそうなのは全部教授がやっちゃってくれてたりもしましたが、それでも UNIX に触れ、ネットワークに触れ、各種サーバーに触れという感じでいろんなことを学びました。 実はそのバイトに就いた当時は UNIX の U も分からんような具合で、ネットゲームとか
誰かのお墨付き - naoyaのはてなダイアリー
人間の価値観というのは十人十色で、それぞれそう簡単に変えられるものではない強固なものだと、ネットをしてると日々実感する一方で、価値観というのは非常に不安定なものであると思わされることも多い。自分がこだわりを持ってるもの、本当に好きなものに関しては他の誰が何と言おうとそれを「おもしろい」「すばらしい」と感じることができるけれども、そうでないものに対しては「ほかのひとはどう思っているか」という頼りがなければ、その善し悪しを計ることができない。 例えば僕の場合、音楽は日頃聴くけれどもそこまで音楽そのものの善し悪しを見分ける感覚やこだわりが自分にはないようです。なので、世間で話題になってる曲、みんながいいと思ってそうなもの、そういうものをピックアップして聴く。僕が聴いて良いと思うものの中で、本当に周りの情報に左右されずに「良い」と思えた曲というのは多分ほとんどない。メディアミックスで物が売れたりす
naoyaのはてなダイアリー - Perl の話をまとめた
use strict がどうのこうのという話があって、そういえば昔自分もそんなこと書いたなあと思っていろいろ自分の書いた Perl の話を見返してて、せっかくだから拙作のまとめでも作っておくかと思いました。とりあえず文章量がそれなりにあって、まとまりのあるものだけを見繕ってみます。 今見ると、当時の理解が不十分で微妙なところもあったりしますが、そのあたりはご愛嬌。 いま読んでもまだ陳腐化はしてなさそうな話 お薦めの Perl 本をいくつか紹介 : NDO::Weblog Perlおすすめの書籍や情報。今ならここにPerl救命病棟とWEB+DB PRESS総集編を入れるかな。 Perlプログラマのレベル10 - Perlプログラミング救命病棟より - naoyaのはてなダイアリー Perlプログラマのレベル10。なんか他言語にも飛び火した。 Perl の変数に関するちょっとした誤解と、動的な
naoyaのはてなダイアリー - Perl のクロージャ
いつもお世話になってるあの人とかあの人とかが山口家の逆襲->perl-解説->クロージャというクロージャの解説ページをブックマークしてるのをきっかけに、 Perl のクロージャについて自分もちゃんと理解できてるのかというのを考えてみましたが、どうも微妙です。 クロージャについて、何でいまいち理解しきれてない感じがあるのかというと、クロージャがどういうものであるかは知ってるけど、クロージャをどういう時に使うと良いのかが具体的にあれとこれという感じで思い付かないからなのではないかと思った。 なので、Perl でクロージャを使ってる実装とかを見て、どんなときに使われるものなのかをリストアップして理解を深めてみよう..のコーナーです。 クラスにデータを保持するためのクロージャ 僕がぱっと思いついたのは Class::DBI の中で使われている Ima::DBI におけるデータベースハンドラのキャッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
