特定のロボットのみクロール許可するrobots.txt記述 - ヲレサイト

特定のロボットのみクロール許可するrobots.txt記述 久しぶりにアクセスログを見てみたら意味不明のアクセスがここ数日ドカンと増加していた。 うーむ。混乱に乗じてなんとか、ってやつかは分かりませんが（￣▽￣|||） 脆弱性（MTのじゃないんだけど）を突いて改ざんしようとしてるようなクエリの付いたアクセス何かの情報をひっかき集めてるような絨毯爆撃ページクロール概ねこの2種類。今んトコ被害らしいものはないですが･･･ウザい。 htaccessで対応するんですが、クロールの方はrobots.txtを読みに来てる奴もいるのでこのご時世無駄なトラフィックを増やさないように書き方を工夫してみる。 従来はこんな書き方。 User-agent: * Disallow: /検索エンジンといえどダメなディレクトリ/ User-agent: 変なロボットA Disallow: / User-agent: 変