エクスコムグローバル株式会社｜XCom Global, Inc.XCom Global Mobile Hotspots provide international wireless Internet access for all of your devices, for one flat daily rate
がんちゃんのブログ: webクローラーのUser-Agent一覧
このところうちに来ている/来たことのあるwebクローラー(とおもわれるもの)のUser-Agentを一覧表にしてみました。具体的にはrobots.txtを読みにきたひとの一覧です。期間は2007/6/26〜7/18まで。 "Baiduspider+(+http://www.baidu.com/search/spider_jp.html)" "Gigabot/3.0 (http://www.gigablast.com/spider.html)" "Googlebot-Image/1.0" "JS-UZUSHIO" "Mozilla/2.0 (compatible; Ask Jeeves/Teoma; +http://about.ask.com/en/docs/about/webmasters.shtml)" "Mozilla/5.0 (compatible; Googlebot/2.1; +
ロボ避けとアクセス制限のための覚え書き - livedoor Wiki（ウィキ）
サイト運営の際必要になる各種データの個人的な覚え書きロボ避けとアクセス制限のための覚え書き サイト運営の際必要になる各種データの個人的な覚え書き トップページページ一覧タグ一覧 Ads by Google 履歴 FrontPage 最終更新：aissle 2008年11月06日(木) 19:24:22 このWikiについて 検索避け、アクセス制限などサイトの運営管理に関わる各種データの個人的な覚え書きです。 あくまで当Wikiオーナーが個人的に必要とするデータの覚え書きなので、書いた本人以外には意味が通じなかったり役に立たなかったり、情報が間違っていたり最新のものではなかったりする可能性もあります。 また、当Wikiはオーナー個人の裁量の元、個人的に運営管理されているものであり、当Wikiオーナーが運営しているサイト以外のサイトとは一切関係がありません。当Wikiの内容に関する質問や当
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
検索ロボット（クローラ）の拒否とアクセス禁止 - SPAM - robots
