404 Blog Not Found:クローラにしかとシカトしてもらう50の方法
2006年10月28日22:30 カテゴリTips クローラにしかとシカトしてもらう50の方法 というわけで備忘録代わりに。 Apache: The Definitive Guide [邦訳:Apacheハンドブック] [を] Yahoo! Slurp に rel="nofollow" を無視されたYahoo! Slurp に一斉にアクセスされてサーバのロードアベレージが激ヤバ。 とりあえず、CGIスクリプトのファイル名を変更して回避。robots.txt 最も基本的なのがこれ。たつをくんがこれを知らないはずはないのだけど一応基本からということで。 robotstxt.org Robots Exclusion Standard - Wikipedia, the free encyclopedia http://www.dan.co.jp/robots.txt ちなみに最後のワイルドカードを
今日の井原 - 都内某社で開催されたクローラ勉強会のスライドを公開します。
技術書あげます えろい画像だけモザイク [読書]けなす技術 CatchPhraser(きゃっちふれいざー): スニペットとしてキャッチコピーを表示するblog検索エンジン AdWords appears everywhere! Cマガジン休刊 「オープンソースの全文検索エンジンの速度性能比較」のご紹介 日経コンピュータ誌の特集「IT関連学会の憂鬱」を読んだ googleの新卒採用説明会に申し込んでみたよ [memo]OpenCVの顔認識機能を使う 自分自身をブックマーク Newzingo: tagをベースにGoogle Newsを閲覧するインタフェース Google Tip: "(ダブルクォーテーション)は閉じなくてもOK リンク見出し是非裁判の件 脅かされる本人認証
Fasterfox の先読みをブロックする方法 - lucky bag
自サイトのアクセスログ見てて、同時刻に複数ページへすんげぇ勢いでアクセスしている Firefox の UA 名なんか見つけると、Firefox を高速化する機能拡張 Fasterfox 使ってんだろうなとか思うわけで、まぁここら辺のことはかなり前に最速な人が取り上げてたりする。 今までこの Fasterfox のリンク先読み機能に対して、サイト側の方ではどうにも出来なかったんだけど、Fasterfox のバージョンが 1.0.3 になってから robots.txt を読むようになったらしく、下記の2行を robots.txt に記述すれば先読みをブロックできる。 User-agent: Fasterfox Disallow: / つう訳で、サーバに負荷をかけられたくねぇって人や、ログに余計なノイズを残すなやって人はやってみると幸せになれるかも知れないですぜ ！
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
