検索エンジンの主要なシステム構成 - インフォセンター - Yahoo!検索

クローラー 「スパイダー」「ロボット」「検索エンジンロボット」「ボット」とも呼ばれます。クローラーは、ウェブページ内のリンク（「ハイパーリンク」）をたどることで、ウェブページを巡回・収集します。 インデクサー クローラーが収集したウェブページから、URLやウェブページの内容の特徴語などの抽出を行って、キーワードで検索できるインデックス（データベースの一種）を作成します。 なお、クローラーが巡回・収集したウェブページからインデックスを作成する際、さまざまな条件でウェブページの選別や分類が行われます。このため、ウェブページがクローラーによって巡回されても、インデックスに登録され、検索結果に表示されるようになるとは限りません。 検索サーバー インデックスに登録されたウェブページに対して、検索結果の表示順序などの情報を追加します。 ブラウザに表示される検索結果ページを作成する部分は「フロントエンド