[B! 検索エンジン] xnightsのブックマーク

よりわかりやすい検索結果ページを目指して

3 月末、私たちは Google 検索に「検索語によっては検索結果の説明文を長くする」という新しい機能を追加しました。この改善により、ユーザーのみなさんが目的の情報にたどり着くために必要な情報を、より的確に提供することができるようになりました。長いスニペット検索をしたとき、Google の検索結果のそれぞれには青い文字のタイトルに続いて数行の文章があります(これを私たちは"スニペット (情報などの断片)"と呼んでいます)。これによって、みなさんはそれぞれのページが何について書いてあるのかを知ることができます。また、打ち込んだ検索語をスニペット中で太字にして目立たせることで、検索語がどのように文中で使われているのかという文脈も知ることができるようになっています。みなさんが長い検索語を打ち込んだとき、普通の長さのスニペットでは十分な文脈や情報を知ることができないことがあります。このような

xnights 2009/04/20

リンク

はてなブックマーク全文検索機能の裏側

そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu

xnights 2008/12/16

リンク

1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記

最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン