なぜrobots.txtが重要なのか robots.txtには主にクロールの可否が表記されています。(内容は任意です) そして、このrobots.txtに巡回をブロックするページを指定することによって、無駄なクロールを防ぎ、重要なページを中心にクロールするようにします。 このクロールの最適化のためにrobots.txtが必要となるというわけです。 注意点として、ここでのクロールのブロックはGoogleのインデックスを制御することが目的ではなく、あくまでクローラーが無駄なく巡回できるように促すことが目的です。 インデックスをしてほしくない場合は別の、noindexなどで対応してください。 クローラーはどこから辿ってくるのか クローラーは全てのページを巡回しているわけではありません。 サイトを立ち上げて、どこからもリンクされなければインデックスもされません。 クローラーは内部リンクも含めた「被
![robots.txtとは? クローラーの最適化に必要な設定方法 | SEO内部対策についてまとめ【基本の対策を詳細解説】](https://cdn-ak-scissors.b.st-hatena.com/image/square/76d2b982564d99f4217bff49fcddd6fdee99d339/height=288;version=1;width=512/https%3A%2F%2Fseopack.jp%2Finternal-seo%2Fwp-content%2Fuploads%2F2016%2F04%2Frobotstxt-necessary-to-optimize-the-crawler.jpg)