クローラー ウェブページの巡回・収集を行うクローラーに関連する説明や、REP(Robots Exclusion Protocol)に従ったrobots.txtの設置方法などの解説。 クローラーによるウェブページの巡回と収集 ロボッツ・エクスクルージョン・プロトコルとクローラー サイト単位、ディレクトリ単位での巡回の拒否設定 1 » 一覧を見る
クローラー ウェブページの巡回・収集を行うクローラーに関連する説明や、REP(Robots Exclusion Protocol)に従ったrobots.txtの設置方法などの解説。 クローラーによるウェブページの巡回と収集 ロボッツ・エクスクルージョン・プロトコルとクローラー サイト単位、ディレクトリ単位での巡回の拒否設定 1 » 一覧を見る
Yahoo!検索に表示されている検索結果(キャッシュおよびキャッシュリンクも含みます)は、 データや独自のアルゴリズムにもとづいて自動的に作成されています。このため、検索結果に表示されるタイトルやサマリーなどは、特定のウェブページのみを作為的に変更するということができません。
サイトには、URLは異なるがウェブページの内容は変わらないというケースがあります。たとえば、URLがトラッキング用のパラメータを含んでいる場合や、URLに含まれるパラメータをもとに閲覧環境によってウェブページの表示を最適化しているような場合です。 例 http://www.example.com/products?trackingid=feed http://www.example.com/products?sessionid=hgjkeor2 http://www.example.com/products?printable=yes&trackingid=footer このような場合、検索エンジンのインデックスに個々のURLで登録されると、同じ内容のウェブページが検索結果に表示されたり、同じ内容のウェブページであるにもかかわらず、各URLにクローラーが巡回し、サーバーに負荷をかけてしまう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く