エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Baidu(百度)のクローラのお行儀がとても良くなった
Baidu(百度)のクローラのお行儀がとても良くなった 2007-03-30-2 [WebTool] robot.txt で、 User-agen... Baidu(百度)のクローラのお行儀がとても良くなった 2007-03-30-2 [WebTool] robot.txt で、 User-agent: * Crawl-delay: 10 とだけ設定しているサイトがあるのですが、アクセスログを見ると、 百度(Baidu)のクローラ「Baiduspider+」がこれに従ってきちんと 10秒の間隔をあけてアクセスに来ているのが確認できました。 非常にお行儀が良くなっています。素晴らしい。 私が管理しているサイトのいくつかは、歴史的経緯により、 元気が良すぎるBaiduをアク禁にしているんのですが[2006-10-18-1]、 お行儀の良さを確認したので徐々に解除することにします。 ということで、今現在、私のサイトに関して一番お行儀の悪いクローラ の座は Baidu から Googlebot に明け渡されました(ref. [2007-03-21-
2007/03/31 リンク