トップ100万ウェブサイトのrobots.txtを解析した人とその結果
An Analysis of the World's Leading robots.txt Files(世界のリーダーたちの robots.txt ファイル)というブログで、世界の上位100万サイトの robo […] An Analysis of the World's Leading robots.txt Files(世界のリーダーたちの robots.txt ファイル)というブログで、世界の上位100万サイトの robots.txt を解析したベン・フレデリクソンさん(Ben Frederickson)の話が出ていました。 フレデリクソンさんは、解析結果から、3つの面白い気づきを紹介してくれています。 Googlebot にしか見せないサイト Googleボット以外のすべてのボットを拒否する、という設定のサイトは意外に多いそうです。 大手サイトでは例えば、フェイスブック(robots
robots.txtでAllowを使うのはどんな時？
[対象: 中〜上級] 調べる機会があったので忘備録も兼ねた「robots.txtの“Allow”の使い方」の解説が今日のテーマです。 robots.txtは検索エンジンのクローラのアクセスを拒否するために使用します。 英語で「許可しない」を意味する“Disallow”という命令をアクセスを拒否するために用います。 たとえば、以下のようにrobots.txtに記述したとします（ユーザーエージェントを指定する記述は省略してます）。 Disallow: /private/ この場合は、ルートディレクトリのなかにある「private」ディレクトリに含まれているすべてのコンテンツへのクローラのアクセスをブロックできます。 ところが英語で「許可する」を意味する“Allow”という命令をrobots.txtで使用することができます。 よくあるのが次のようなrobots.txtです。 User-Agent
ウェブサイトのメンテナンス時やサービス停止時にやるべきこと・やってはいけないこと
[対象: 中〜上級] サイトのメンテナンスなどの理由で一時的にサービスを停止しユーザーのアクセスを遮断したいときがあります。 このケースでやるべきこととやっていはいけないことを、GoogleのPierre Far(ピエール・ファー)氏がGoogle+で説明しました。 米連邦政府議会で提案されているある法案に対して抗議する人たちへの援助の目的も背景にあるようですが、関わりのない僕たちにとっても非常に有益な内容なので紹介します。 以下で説明することは、「メンテナンス中」のような通知ページを元々のページと置き換えて訪問者に見せる状況にも当てはまります。 1. サイトの一部であってもサイト全体であっても、停止するURLはすべて503のHTTPステータスコードを返す。 次の2つの点において役に立つ。 通知ページが本当のコンテンツではないことをGoogleに伝えインデックスされない。 すべてのページで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google SEO 101: Blocking Special Files in Robots.txt
