間違いだらけ(?)のクローラー対策 ~クローラーと検索結果の関係 | 検索エンジンの舞台裏間違いだらけ(?)のクローラー対策 ~クローラーと検索結果の関係 | 検索エンジンの舞台裏 - 誰にとっても使いやすいユニバーサルな検索エンジンを目指してウェブ上に存在する膨大なデータの中から、キーワードに関連する情報を瞬時に表示してくれる「検索エンジン」。 今回は、検索エンジンにとってもっとも基礎となる「データ」についてのお話ししよう。 検索エンジンを運営する会社が検索結果を提供するためには、まず元となるデータが必要となる。 ウェブ上に公開されているデータは、すべてロボット(クローラー)によって収集されている。 クローラーはあるウェブページの情報を収集する際、アクセスしたページの情報だけではなく、ページ内のリンクをたどりながら次々とほかのウェブページにアクセスし、データ(テキスト、イメージ、動画など)を収集する。 サイトを管理するウェブマスターにとって、クローラーの訪問は「検索結果へ
