矛盾するGoogleのヘルプ：重複コンテンツをrobots.txtでブロックするのはOK？、NG？
米国版のGoogle Webmaster Central 公式ヘルプフォーラムで、重複コンテンツを防ぐためのrobots.txtの利用についてGoogleのヘルプに矛盾がありどちらが正しいのかという質問が投稿されました。 Google と相性の良いサイト（40349） メインのページが検索結果に含まれるようにするには、robots.txt ファイルを使用してこのような重複ページがスパイダーに検出されないようにする必要があります。 重複コンテンツ（66359） Google では現在、robots.txt ファイルなどの方法を使用してウェブサイトの重複コンテンツがクローラでアクセスされないようにすることはおすすめしていません。 上ではrobots.txtを使えと言ってますが、下では使うなと言っています。 ヘルプの更新日は、この記事を書いている時点でどちらも2011年3月20日です。 どちらか
GoogleはFlashで使われる外部リソースもインデックスする、防ぎたければrobots.txtを使うべし - F.Ko-Jiの「一秒後は未来」
Top/Google/GoogleはFlashで使われる外部リソースもインデックスする、防ぎたければrobots.txtを使うべし GoogleがFlashのswfコンテンツをインデックスし始めて久しいですが、「Official Google Webmaster Central Blog: Flash indexing with external resource loading」によると、GoogleはFlashのSWFファイルから呼ばれる外部リソースもインデックスするようになったとのこと。 We just added external resource loading to our Flash indexing capabilities. This means that when a SWF file loads content from some other file—whether
hxxk.jp - はてなモバイルゲートウェイの自動変換に関する robots.txt の設定メモ
記事データ 投稿者 真琴 投稿日時 2008-10-15T22:12+09:00 タグ はてな はてなモバイルゲートウェイ メモ 概要 検索エンジンのノイズにならないよう、 /moment/ のディレクトリを robots.txt で User-agent: * Disallow: /moment/ と巡回拒否を指定していましたが、 User-agent: Hatena-Mobile-Gateway Allow: /moment/ として例外的に自動変換を許可したので、その記述をメモ。 リプライ リプライはまだありません。 MOMENT がはてなモバイルゲートウェイに自動変換を許可していなかった件について Twitter の post を停止していることについてにて Twitter の post を止めていることを書きましたが、 Twitter / hxxk 側には先に http://ti
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
