タグ

crawlerとbrowserに関するsaronpasuのブックマーク (1)

  • Fasterfox の先読みをブロックする方法 - lucky bag

    自サイトのアクセスログ見てて、同時刻に複数ページへすんげぇ勢いでアクセスしている Firefox の UA 名なんか見つけると、Firefox を高速化する機能拡張 Fasterfox 使ってんだろうなとか思うわけで、まぁここら辺のことはかなり前に最速な人が取り上げてたりする。 今までこの Fasterfox のリンク先読み機能に対して、サイト側の方ではどうにも出来なかったんだけど、Fasterfox のバージョンが 1.0.3 になってから robots.txt を読むようになったらしく、下記の2行を robots.txt に記述すれば先読みをブロックできる。 User-agent: Fasterfox Disallow: / つう訳で、サーバに負荷をかけられたくねぇって人や、ログに余計なノイズを残すなやって人はやってみると幸せになれるかも知れないですぜ !

    saronpasu
    saronpasu 2008/04/01
    robots.txtから
  • 1