なぜrobots.txtが重要なのか robots.txtには主にクロールの可否が表記されています。(内容は任意です) そして、このrobots.txtに巡回をブロックするページを指定することによって、無駄なクロールを防ぎ、重要なページを中心にクロールするようにします。 このクロールの最適化のためにrobots.txtが必要となるというわけです。 注意点として、ここでのクロールのブロックはGoogleのインデックスを制御することが目的ではなく、あくまでクローラーが無駄なく巡回できるように促すことが目的です。 インデックスをしてほしくない場合は別の、noindexなどで対応してください。 クローラーはどこから辿ってくるのか クローラーは全てのページを巡回しているわけではありません。 サイトを立ち上げて、どこからもリンクされなければインデックスもされません。 クローラーは内部リンクも含めた「被