クロールバジェットをどう制御するか（前編） クロールバジェットの基本と問題の原因 | Moz - SEOとインバウンドマーケティングの実践情報

Mozファンのみんな、こんにちは。今日のテーマは「クロールバジェット」だ。 まず言っておいたほうがいいと思うのだけど、このテーマは少し上級のSEO向けというか、主に大きめのウェブサイトが対象だ。とはいえ、これには当てはまらないという人も、クロールバジェットに適用できそうな戦術や診断を考える際に浮上するSEO理論の観点から、学べるものがたくさんあると思う。 ただグーグルのドキュメントでは、クロールバジェットを気にするべきなのは、次の場合だとしている： 100万ページを超えている場合1日の更新数が1万ページを超えている場合これがどちらかというと厳しいというか、恣意的なしきい値なのは明らかだろう。わたしに言わせると、上記の条件に当てはまらないとしても、 サイトのインデックスに問題があり、サイトの深いところにあるページをインデックスしてもらえない場合ページのインデックスまでに時間がかかる場合は、ど

[s-supporter]

クロールバジェットの制御はもちろん、インデックスされるかどうかの判断として、nofollowやnoindex、canonicalや301リダイレクトの挙動についても確認しておきたい内容です。