タグ

robots.txtに関するglat_designのブックマーク (2)

  • ウェブサイトのメンテナンス時やサービス停止時にやるべきこと・やってはいけないこと

    [対象: 中〜上級] サイトのメンテナンスなどの理由で一時的にサービスを停止しユーザーのアクセスを遮断したいときがあります。 このケースでやるべきこととやっていはいけないことを、GoogleのPierre Far(ピエール・ファー)氏がGoogle+で説明しました。 米連邦政府議会で提案されているある法案に対して抗議する人たちへの援助の目的も背景にあるようですが、関わりのない僕たちにとっても非常に有益な内容なので紹介します。 以下で説明することは、「メンテナンス中」のような通知ページを元々のページと置き換えて訪問者に見せる状況にも当てはまります。 1. サイトの一部であってもサイト全体であっても、停止するURLはすべて503のHTTPステータスコードを返す。 次の2つの点において役に立つ。 通知ページが当のコンテンツではないことをGoogleに伝えインデックスされない。 すべてのページで

    ウェブサイトのメンテナンス時やサービス停止時にやるべきこと・やってはいけないこと
    glat_design
    glat_design 2012/01/20
    503はメンテ中のエラーコード。メンテしても問題の起きない方法。503の出し方もリンク先に書いてある。
  • WordPressで作ったサイトを最適化するためのrobots.txt

    WordPressで構築している当サイトのrobots.txtを見直そうと思い、参考にした記事をいくつか紹介します。 How to Write WordPress robots.txt for SEO robots.txtファイルは、ウェブを探し回る検索エンジンのロボットに制限を与えるものです。 参考:A Standard for Robot Exclusion ロボットは自動化されており、サイトのページにアクセスする前に、そのサイトにrobots.txtファイルの存在を確認します。 WordPressにとっては、たとえば管理系のファイルなど検索エンジンには必要ではないコンテンツをもっているため、robots.txtの設置は大切です。また、WordPressで生成したページはカテゴリフォルダ、毎月のアーカイブ、タグ一覧など複数のページから同じページを見つけることができます。Googleはコ

    glat_design
    glat_design 2011/02/15
    Wordpressに関しては決定版。robot.textの簡単な説明もあり
  • 1