クックパッドの検索の裏側 - クックパッド開発者ブログ
初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
検索エンジン3社、正しいサイトURLを認識させるcanonical属性を導入（URLの正規化） ::SEM R (#SEMR)
検索エンジン3社、正しいサイトURLを認識させるcanonical属性を導入（URLの正規化） Google、Yahoo!、Microsoft3社が rel="canonical" （正規化、canonicalization ）をサポート。クローラが適切な（canonical）サイトを見つける手がかりに。rel="canonical" はページの head の中に記述すること。 公開日時：2009年02月13日 15:37 Google、Yahoo!、Microsoftの3社は2009年2月12日、共同で新しいタグ「 rel="canonical"」のサポートを開始した。rel="canonical"（属性）は、検索エンジンに正しいサイトのURLを認識(正規化、canonicalization）させるために使用される。 同じサイト（ドメイン）でも、たとえば www.sem-r.com、se
ゲノミクス研究から誕生、「ディープ・ウェブ」を検索するエンジン『DeepDyve』 | WIRED VISION
ゲノミクス研究から誕生、「ディープ・ウェブ」を検索するエンジン『DeepDyve』 2008年11月13日 IT コメント： トラックバック (0) Chris Snyder 関係記事がどのように関連するかを図示する機能もある ヒトゲノム計画に参加する科学者たちが立ち上げた研究向け検索エンジンは、『Google』でさえも未踏の領域、「ディープ・ウェブ」に到達すると主張している。 米DeepDyve社の検索エンジン『DeepDyve』は、他の検索エンジンからは拾い上げられないデータの99％(後述するカリフォルニア大学バークレー校の調査を引用した自社評価)を検索するように設計されている。 他の検索エンジンは、主に人気の解釈に基づいてページを返しており、ページが見つかる場合しか機能しない。有料会員しか閲覧できないコンテンツや、ページランクを稼げるほど十分な数のサイトにリンクされていないページなど
はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
