中小企業がITを活用して売り上げにつなげるにはどうしたらいいか?WEBマーケティングとWEB戦略コンサル実績350社50業種以上の実績とノウハウで、海外の最先端情報を中心に、噛み砕いてご紹介。 昨年11月になりますが、GoogleCodeにて、クローリングとインデクシングに関するドキュメントが公開されました。 ▼Controlling Crawling and Indexing - Google Code ドキュメントの内容は、robots.txtやmetaタグ、 X-Robots-Tag HTTPヘッダーなどをどのように使うと、サイト運営側が思った通りにGoogleのクローラーやインデクサーが動いてくれるのか、というものです。 なかなかインデックスされないと思ったら、設定を間違っていてクローラを遮断していた クロールしてほしくないページがインデックスされて検索結果に出てしまって、顧客から