bingbotのクロール頻度が多すぎて重いので、robots.txtで調整した | colori

テクノロジーカテゴリーの変更を依頼記事元:

colo-ri.jp

29 usersがブックマークコメント

コメント

2

記事へのコメント2件

注目コメント
新着コメント

orenonihongogayabai スペルミスしてるので注意。×Clawl-Delay ○Crawl-Delay 参考: http://goo.gl/YxJ747

2014/12/05 リンク

kazeburo 2013年に入ってから、GoogleBotの後を追うようにBingBotが来襲し、かつクロール数も多いのでrobots.txtが効いてくれない事態が起こっているようです。

bingbot

2013/01/26 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

bingbotのクロール頻度が多すぎて重いので、robots.txtで調整した | colori

サイトを運用していると、時たま謎のサーバー負荷に悩まされることがありますが、今回はBingのクローラ... サイトを運用していると、時たま謎のサーバー負荷に悩まされることがありますが、今回はBingのクローラーがやらかしてたという話です。 2013/1/16 追記：robots.txtでも調整できない場合の対策も盛り込みました。ユーザーのアクセスが最も多いお昼時の時間帯でこれですよ。 157.55.35.85 - - [29/Oct/2012:14:07:25 +0900] "GET /***/ HTTP/1.1" 200 5503 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 157.55.35.85 - - [29/Oct/2012:14:07:25 +0900] "GET /***/ HTTP/1.1" 200 5503 "-" "Mozilla/5.0 (compatible;

ブックマークしたユーザー

mieki2562018/09/15
eagleyama2017/06/23
eichisanden2017/03/27
Syunrou2017/02/07
orenonihongogayabai2014/12/05
suginoy2014/04/23
ohesotori2013/05/10
ANNotunzdY2013/05/09
aki772013/03/23
foo-ohta2013/03/23
shadow-toon2013/02/28
zsiarre2013/01/27
jinjin2525252013/01/26
dai_yamashita2013/01/26
kazeburo2013/01/26
bayan2012/12/15
tsukamotch2012/11/30
nakayoshiyama2012/11/30

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx