tatsunori_tachikiのブックマーク - はてなブックマーク

クローラー - インフォセンター - Yahoo!検索

ウェブページの巡回・収集を行うクローラーに関連する説明や、REP（Robots Exclusion Protocol）に従ったrobots.txtの設置方法などの解説。クローラーによるウェブページの巡回と収集このページでは、検索エンジンでウェブページの巡回・収集をするクローラーが、どのようにしてウェブページを見つけて巡回し、ウェブページの収集を行っているかを説明しています。ロボッツ・エクスクルージョン・プロトコルとクローラーサイト管理者は、ロボッツ・エクスクルージョン・プロトコル（Robots Exclusion Protocol＝REP）に従って記述されたrobots.txtやメタタグの記述で、クローラーの巡回を制限できます。サイト単位、ディレクトリ単位での巡回の拒否設定 1 このページでは、robots.txtを使ったクローラーの巡回の制限方法について、基本的な記述のルールや

tatsunori_tachiki 2010/11/10

http://htn.to/KJNJA5

yahoo.co.jp

リンク

内容が重複する複数のURLをまとめるよう、検索エンジンに通知 - インフォセンター - Yahoo!検索

サイトには、URLは異なるがウェブページの内容は変わらないというケースがあります。たとえば、URLがトラッキング用のパラメータを含んでいる場合や、URLに含まれるパラメータをもとに閲覧環境によってウェブページの表示を最適化しているような場合です。例 http://www.example.com/products?trackingid=feed http://www.example.com/products?sessionid=hgjkeor2 http://www.example.com/products?printable=yes&trackingid=footer このような場合、検索エンジンのインデックスに個々のURLで登録されると、同じ内容のウェブページが検索結果に表示されたり、同じ内容のウェブページであるにもかかわらず、各URLにクローラーが巡回し、サーバーに負荷をかけてしまう

tatsunori_tachiki 2010/11/10

http://htn.to/buWb6u

yahoo.co.jp

リンク

インフォセンター - Yahoo!検索

クローラーウェブページの巡回・収集を行うクローラーに関連する説明や、REP（Robots Exclusion Protocol）に従ったrobots.txtの設置方法などの解説。クローラーによるウェブページの巡回と収集ロボッツ・エクスクルージョン・プロトコルとクローラーサイト単位、ディレクトリ単位での巡回の拒否設定 1 » 一覧を見る

tatsunori_tachiki 2010/11/10

http://htn.to/wzahuF