robots.txt 記載例 すべてのディレクトリに対し、すべてのロボットにクロールおよび インデックスを許可する。 User-agent: * Disallow: また、Googleに関しては、「Allow」拡張が使用できます。 この拡張機能が、YST(Yahoo)やLiveSerch(MSN)が正しく認識されるかは不明ですが、 パターン一致も使えますので、うまく活用していきましょう。 ショッピングサイトなどを運営している場合、 ユーザーに対して様々な角度から商品を見つけやすい設計を心がけますが、 クローラーの視点から見ると残念ながら類似ページや同一ページのように 見えてしまうことがあります。 近年の検索エンジンは、類似ページや同一ページが多いサイトの インデックス数は減りがちです。 これは膨大な情報を適切に分類するために必要なことではありますが、 必要なページがインデックスから削除され
