ロボット排除プロトコル（REP）とは？――メタタグやrobots.txtの基礎 | Web担当者Forum
HTTPヘッダーとは、ウェブサーバーがウェブブラウザなどのクライアントに対してデータを送る前に送信する情報のことで、通常はブラウザには表示されない。 多くの場合、HTTPレスポンスコード、コンテンツの種類（HTMLなのかPDFなのかなど）、コンテンツのサイズ、最終更新日付などの情報が含まれている。 HTTPヘッダーの内容は基本的にHTMLページの記述などでは変更できず、サーバーの設定や出力プログラムの設定によって変更できる。ただし、HTMLページ内の「meta http-equiv」のタグによって、HTTPヘッダーで指定する情報を記述でき、ほとんどのウェブブラウザがmeta http-equivの情報を解釈する。 そして2005年に登場したサイトマッププロトコルでは、（XML）サイトマップを通じて大量のコンテンツを検索エンジンに登録する手続きが定義されている。 また2005年には「rel=
Google、Yahoo!、MSがRobots.txtなどREP共通/独自内容公開 | エンタープライズ | マイコミジャーナル
主要な検索サービスを提供しているGoogle、Yahoo!、Microsoftの3社は3日(米国時間)、Robots Exclusion Protocol (REP)の現状を説明するとともに、それぞれが独自に提供しているディレクティブの説明を公開した。 コンテンツホルダが求めるのはどうすれば検索結果にコンテンツが有利に登場するかだが、逆に特定のコンテンツをどうすれば検索対象から除外できるかも求められている。この場合に使われるのがRobots Exclusion Protocol(REP)だ。robots.txtファイルに指定する方法やMETAタグで指定する方法などがある。これら方法はGoogle、Yahoo!、Microsoftなど主要な検索エンジンサービスでサポートされており、検索エンジンアクセス制御方法のデファクトスタンダードとなっている。 ここ数年、Google、Yahoo!、Mic
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
検索エンジン ロボットの制御/robots.txt/SEO
