クローラーの巡回頻度の調整 - インフォセンター - Yahoo!検索
インターネット全体の何十億ものウェブページを巡回するため、YSTは複数のクローラーを使っています。このためお客さまのサーバーに、異なるIPアドレスからYSTのクローラーがアクセスしているという記録が残ることがあります。 複数のクローラーが巡回する際は、1台のサーバーへのリクエスト数を制限しています。しかし、1台のサーバーに複数のIPアドレスが割り当てられていると、複数のサーバーと認識され、リクエスト数が増加する場合があります。 YSTのクローラーのアクセス頻度は、robots.txtに「Crawl-delay: xx」（「xx」には5や10などの数値を指定）という記述をすることで調整できます。 User-agent: Slurp Crawl-delay: 5 短い間隔でのアクセスを許容する場合には、数値を小さくします。 User-agent: Slurp Crawl-delay: 0.5
【まとめ】WordPress を Yahoo! ブログ検索させる方法 その10【追記あり】
【まとめ】WordPress を Yahoo! ブログ検索させる方法 その10【追記あり】 2009/5/26 16:11 2017/11/6 4:24 28 WordPress WordPressSEOPINGクローラYahoo! ブログ検索 当記事はアフィリエイト広告を掲載しています。 前回の記事（【ついに成功】 Yahoo! ブログ検索にインデックス！ 〜 WordPress を Yahoo! ブログ検索させる方法 その 9 〜）にてこの blog を Yahoo! ブログ検索へインデックスさせることに成功しましたが、無駄な改変が多いような気がして、改めて WordPress を Yahoo! ブログ検索にインデックスさせる方法を、まっさらなデフォルトのテーマにて検証してみました。 Yahoo! ブログ検索にインデックスさせることに成功したのでまとめを記載しておきます。 ポイントは
FeedburnerがYahoo!ブログ検索にインデックスされない件
FeedburnerがYahoo!ブログ検索にインデックスされない件 FeedburnerがYahoo!ブログ検索にインデックスされないらしいので解決法を考えてみました。 (参考：Googleが「Feedburner」を買収？) Feedburnerがインデックスされない原因は、Yahoo!ブログ検索が『RSSのアドレスが、ブログや各記事のドメインと異なる』場合インデックスしないというポリシーで運営されているからのようです。 Yahoo!ブログ検索にポリシーを変更してもらうのが一番いいのですが、そうも言ってられないので解決法を考えてみました。 Yahoo!ブログ検索のボットのユーザーエージェントは『Y!J-BSC』らしいので、それで条件分岐したら大丈夫と思います。 (参考：Y!J-DSCとY!J-BSC - Yahoo! JAPAN独自のクローラー) オートディスカバリーの設定(heade
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WordPress Plugins/JSeries » WordPress Related Post for Japanese
