The Web Robots Pages
Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Search engines such as Google use them to index the web content, spammers use them to scan for email addresses, and they have many other uses. On this site you can learn more about web robots. About /robots.txt explains what /robots.txt is, and how to use it. The FAQ answers many frequ
ロボット排除プロトコル（REP）とは？――メタタグやrobots.txtの基礎 | Web担当者Forum
HTTPヘッダーとは、ウェブサーバーがウェブブラウザなどのクライアントに対してデータを送る前に送信する情報のことで、通常はブラウザには表示されない。 多くの場合、HTTPレスポンスコード、コンテンツの種類（HTMLなのかPDFなのかなど）、コンテンツのサイズ、最終更新日付などの情報が含まれている。 HTTPヘッダーの内容は基本的にHTMLページの記述などでは変更できず、サーバーの設定や出力プログラムの設定によって変更できる。ただし、HTMLページ内の「meta http-equiv」のタグによって、HTTPヘッダーで指定する情報を記述でき、ほとんどのウェブブラウザがmeta http-equivの情報を解釈する。 そして2005年に登場したサイトマッププロトコルでは、（XML）サイトマップを通じて大量のコンテンツを検索エンジンに登録する手続きが定義されている。 また2005年には「rel=
ロボットのアクセスやインデックスを制御するテクニック： 基本のおさらい（前編） | Moz - SEOとインバウンドマーケティングの実践情報
この記事の内容はすべて筆者自身の見解であり（ありそうもないことだが、筆者が催眠状態にある場合を除く）、SEOmozの見解を反映しているとは限らない。 すでにご存知だと思うが、検索エンジンのスパイダーは、ウェブサイトを訪れてインデックス化する際、常に効果的な働きをしてくれるわけではない。各検索エンジンのロボットに任せておくと、複製コンテンツ問題を生み出す、重要なページをジャンクページと見なす、ユーザーが最初に見るべきではないコンテンツをインデックスするなど、さまざまな問題が生じる可能性がある。 ただし、私たちが自由に使えて、ウェブサイト上でのロボットの活動をできるだけ効果的なものにする道具立てはたくさんある。たとえば、次のようなものだ。 meta robotsタグURL正規化タグ（rel="canonical"）X-Robots-Tagrobots.txt それを踏まえて、この記事では、ロボ
WordPressで作ったサイトを最適化するためのrobots.txt
WordPressで構築している当サイトのrobots.txtを見直そうと思い、参考にした記事をいくつか紹介します。 How to Write WordPress robots.txt for SEO robots.txtファイルは、ウェブを探し回る検索エンジンのロボットに制限を与えるものです。 参考：A Standard for Robot Exclusion ロボットは自動化されており、サイトのページにアクセスする前に、そのサイトにrobots.txtファイルの存在を確認します。 WordPressにとっては、たとえば管理系のファイルなど検索エンジンには必要ではないコンテンツをもっているため、robots.txtの設置は大切です。また、WordPressで生成したページはカテゴリフォルダ、毎月のアーカイブ、タグ一覧など複数のページから同じページを見つけることができます。Googleはコ
ウェブサイトのメンテナンス時やサービス停止時にやるべきこと・やってはいけないこと
[対象: 中〜上級] サイトのメンテナンスなどの理由で一時的にサービスを停止しユーザーのアクセスを遮断したいときがあります。 このケースでやるべきこととやっていはいけないことを、GoogleのPierre Far(ピエール・ファー)氏がGoogle+で説明しました。 米連邦政府議会で提案されているある法案に対して抗議する人たちへの援助の目的も背景にあるようですが、関わりのない僕たちにとっても非常に有益な内容なので紹介します。 以下で説明することは、「メンテナンス中」のような通知ページを元々のページと置き換えて訪問者に見せる状況にも当てはまります。 1. サイトの一部であってもサイト全体であっても、停止するURLはすべて503のHTTPステータスコードを返す。 次の2つの点において役に立つ。 通知ページが本当のコンテンツではないことをGoogleに伝えインデックスされない。 すべてのページで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
robots.txtとは？設置する理由・SEO効果・書き方を解説
