[思] 百度(Baidu)のクローラー中国の検索サイトに、百度というサイトがある。 最近、ココログのアクセス解析がバージョンアップされて生ログを参照できるようになったが、この生ログに、百度のクローラーからのアクセスがいくつか記録されているのを発見した。 この百度のクローラーは実に不可解なアクセスをしているようだ。 Technorati Tags: baiduspider, ロボット, 百度 当ブログ管理人の認識では、普通のクローラーはサイトのトップページから順番にリンクを辿ってコンテンツの索引化を行うものと考えていたが、生ログを見る限り、トップページから順番にリンクを辿っているようには見えない。 しかも、ココログの生ログでは次のようなアクセスまで記録されていた。 2006/08/03 00:46:40 * 思考と習作: ページ名未取得 リモートホスト 60.28.17.36 ユーザーエージェント Baiduspider ( h
[思] アシモフの法則？
[思] WebページをPDFに変換
