Googleからのお願い、「CSS・JavascriptをGooglebotがクロールするのをブロックしないで」[対象: 初級] CSSファイルやJavascriptファイルへのGooglebotのクロールをrobots.txtでブロックしないようにしてほしいと、GoogleのMatt Cutts(マット・カッツ)氏が“公共メッセージ”を流しました。 もし、JavascriptやCSSにGooglebotがクロールするのをブロックしているとしたら、少しだけ時間を取ってその記述をrobots.txtから削除してほしい。 JavascriptやCSSをクロールさせてもらえればそのページでどんなことが起こっているかをより適切に理解できる。 帯域幅のようなリソースを浪費しないようにとブロックする人がたくさんいるけれど、Googlebotはかなり高性能なのでそういったものを速すぎるくらいにクロールしたりはしない。 ほかにもFlashがJavascriptを含んでいるのを知らなくてJavascriptをブロック
