クローラー:HTTPプロトコルでコンテンツを取得する あなたの運営しているサーバーを含めた世界中のWebサーバーと通信し、そのサーバー内のコンテンツを取得していきます。通信手段はHTTP/HTTPSプロトコルなので、HTTP/HTTPSで取得できるものは、なんでも持っていきます(テキストファイル、CSSファイル、JavaScriptファイル、画像、Flash、PDFなど)。 インデクサ:取得したコンテンツを解析し保存する 取得したコンテンツの内容を解析します。ここで取得したコンテンツのキーワードやテーマを分析して読み取り、分析結果とそのファイル自体をデータベースに保存(インデックス)します。 クエリサーバー:ユーザからの検索クエリ(キーワード)の結果ページを返す ユーザの検索キーワードに基づき、保存してあった解析結果を検索結果ページとして作成し、表示します。SEOの結果が反映される部分にな
![クローラーとは/検索エンジンの仕組みをおさらい。クローラー対策とステータスコード | エンジニアのためのSEO入門](https://cdn-ak-scissors.b.st-hatena.com/image/square/db0b6d5cd2de959b565b532c4124f0524b440544/height=288;version=1;width=512/https%3A%2F%2Fwebtan.impress.co.jp%2Fsites%2Fdefault%2Ffiles%2Fstyles%2F1200x630%2Fpublic%2Fimages%2Farticle2009%2Fseseo%2Fseseo_icon.jpg%3Fitok%3DXjhLFQb2)