1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記

最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン

[T-miura]

検索。Rubyでの実装とその教科書。はてなの人

[webmarksjp]

ruby

[esper]

勉強になる

[dealforest]

IIRを読んで検索エンジンつくった

[mlhshino]

あとでソース読む。本もゲットする。

[inarin]

良記事！と思いきや「見ろ!SEO業者がゴミのようだ!」で台無しwww

[yatmsu]

あとで読む。

[erobits]

携帯から

[hatayasan]

「パラメータの重み付けを少し変える度に、検索結果順がころころ変わって、日々それに一喜一憂しているSEO業者の人は大変だなぁ、と思いました。「見ろ!SEO業者がゴミのようだ!」と思ったのは、ここだけの話」

[sol1og]

「見ろ!SEO業者がゴミのようだ!」

[higepon]

実際に実装するのが素晴らしい。さすが。

[mktkmr]

SEO業者がゴミのようすかー

[sankaseki]

1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記

[nas0620]

技術的な話よりも、どう重みをつけるかが重要なんだろうね。

[SocketException]

プログラマなら一度はやってみるべきなのかもしれないですね

[omochist]

おもしろい．なぜこの仕組みで効率的なのか解説が欲しかったけど，それは本を読めばすべて分かるということか．

[kabakiyo]

興味でてきた。どうも。

[adsty]

rubyで実装。

[todojun]

プログラミング]面白い！

[joan9]

> 「見ろ!SEO業者がゴミのようだ!」と思ったのは、ここだけの話です。

[mdoi]

全文検索

[another]

検索エンジンを作ることは、価値観を示すこと。

[hamasta]

英語やるぞー

[rudeboyjet]

検索エンジンとか興味あるなぁ。面白そう

[publichtml]

"rubyで一日かけて実装"

[shao1555]

あとでみる

[syou6162]

インターンを経験ので自分でももう一回やる

[I11]

興味深い。「見ろ!SEO業者がゴミのようだ!」か。悪人だな(笑) 早く逃げて～！(笑)　スター数は一人で何十もつけられるからスパムSEOに脆弱だと思うがどんなもんだろう。

[terazzo]

PageRankも係数変えるだけで結構上下するっぽいよね