1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
[を] 転置インデックスによる検索システムを作ってみよう！
転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-IDF[2005-10-12-1] を用いました。 検索対象ファイルは一行一記事で以下のフォーマットとします。 [記事ID][SPC][記事内容]\n 記事IDは数字、記事内容は UTF-8 の文字で構成されるものとします。 以下のようなサンプル test.txt を用意しました。 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ
![[を] 転置インデックスによる検索システムを作ってみよう！](https://cdn-ak-scissors.b.st-hatena.com/image/square/af37977ee866988286b95e74fff98500a190545c/height=288;version=1;width=512/https%3A%2F%2Fchalow.net%2Fimages%2Ftcl-logo-25.png){kind=logo}
検索エンジンが順位を決める53の要因（39人のSEOプロが評価した重要度とコメント付き） | Web担当者Forum
この文書は自然検索に対する最適化のリーダー39人の英知を結集したものだ。彼らは、Googleの順位決定アルゴリズム（検索エンジンが検索結果を並べる順番を決める方法）を構成するさまざまな要因について投票した。その結果、この上なく価値の高い情報ができあがった。もちろん、200種類以上あるといわれる要因のすべてが含まれているわけではないが、私見では、Googleのアルゴリズムに関して必要な90％～95％の知識がここにふくまれるはずだ。 順位決定の要因に加え、Googleの順位決定に関してパネリストに尋ねた4つの質問への回答がこの文書の最後に示してある。これだけ優秀な人たちに協力してもらったのだから、貴重な回答をもう少し得られずにはいられなかったのだ。 ※注：この文書は、Googleのアルゴリズムをリバースエンジニアリングすることを試みるものでなければ、ウェブ開発者やウェブマーケターにサイトの最適
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
