クローラーとは／検索エンジンの仕組みをおさらい。クローラー対策とステータスコード | エンジニアのためのSEO入門

クローラー：HTTPプロトコルでコンテンツを取得する あなたの運営しているサーバーを含めた世界中のWebサーバーと通信し、そのサーバー内のコンテンツを取得していきます。通信手段はHTTP/HTTPSプロトコルなので、HTTP/HTTPSで取得できるものは、なんでも持っていきます（テキストファイル、CSSファイル、JavaScriptファイル、画像、Flash、PDFなど）。 インデクサ：取得したコンテンツを解析し保存する 取得したコンテンツの内容を解析します。ここで取得したコンテンツのキーワードやテーマを分析して読み取り、分析結果とそのファイル自体をデータベースに保存（インデックス）します。 クエリサーバー：ユーザからの検索クエリ（キーワード）の結果ページを返す ユーザの検索キーワードに基づき、保存してあった解析結果を検索結果ページとして作成し、表示します。SEOの結果が反映される部分にな

[tiroruchoco]

連載エンジニアのためのSEO入門 検索エンジンの仕組みをおさらい。クローラー対策とステータスコード (via @Pocket)

[beth321]

　Web担当者Forum

[yukidl]

あとで読む

[kohey_t]

SEO

[blueribbon]

「クローラーには適切なステータスコードを伝える」

[runeharst]

エンジニアSEO

[congobongo11]

seo