検索エンジンのロボット達はそれぞれ忙しく、世界各地のウェブサイトを隈無く探索しているわけなのだけど、それぞれにはもちろん名前(ユーザエージェント)がある。 中には変わったユーザエージェントを持つロボットもいるので、アクセス解析などでたまに目につく。 なんなので一覧にしてみる。(たまに追加・更新)
検索エンジンのロボット達はそれぞれ忙しく、世界各地のウェブサイトを隈無く探索しているわけなのだけど、それぞれにはもちろん名前(ユーザエージェント)がある。 中には変わったユーザエージェントを持つロボットもいるので、アクセス解析などでたまに目につく。 なんなので一覧にしてみる。(たまに追加・更新)
この文書は自然検索に対する最適化のリーダー39人の英知を結集したものだ。彼らは、Googleの順位決定アルゴリズム(検索エンジンが検索結果を並べる順番を決める方法)を構成するさまざまな要因について投票した。その結果、この上なく価値の高い情報ができあがった。もちろん、200種類以上あるといわれる要因のすべてが含まれているわけではないが、私見では、Googleのアルゴリズムに関して必要な90%~95%の知識がここにふくまれるはずだ。 順位決定の要因に加え、Googleの順位決定に関してパネリストに尋ねた4つの質問への回答がこの文書の最後に示してある。これだけ優秀な人たちに協力してもらったのだから、貴重な回答をもう少し得られずにはいられなかったのだ。 ※注:この文書は、Googleのアルゴリズムをリバースエンジニアリングすることを試みるものでなければ、ウェブ開発者やウェブマーケターにサイトの最適
中国の検索サイトに、百度というサイトがある。 最近、ココログのアクセス解析がバージョンアップされて生ログを参照できるようになったが、この生ログに、百度のクローラーからのアクセスがいくつか記録されているのを発見した。 この百度のクローラーは実に不可解なアクセスをしているようだ。 Technorati Tags: baiduspider, ロボット, 百度 当ブログ管理人の認識では、普通のクローラーはサイトのトップページから順番にリンクを辿ってコンテンツの索引化を行うものと考えていたが、生ログを見る限り、トップページから順番にリンクを辿っているようには見えない。 しかも、ココログの生ログでは次のようなアクセスまで記録されていた。 2006/08/03 00:46:40 * 思考と習作: ページ名未取得 リモートホスト 60.28.17.36 ユーザーエージェント Baiduspider ( h
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く