robots.txt(ロボッツ・テキスト)とは、特定ページへのクローラー巡回を禁止(または制御)するファイルです。 robots.txtファイルにクローラーの巡回をブロックする旨の構文を記述し、サイトにアップロードすることで、ページごとのクロール頻度をコントロールできるようになります。 robots.txtを活用することで、重要ではないコンテンツのクロールを制御し、重要なコンテンツを適切にクロールさせることができます。クロールを最適化することでSEOに良い影響をもたらします。 徐々に自社サイトの規模が大きくなってきたと感じているWeb担当者は、この機会にrobots.txtの意味や書き方、設定方法を覚えておきましょう。 robots.txtとは? robots.txtとは、検索エンジンにWebサイトの特定ページをクロールさせないために設定するファイルです。 Webサイトのコンテンツには上位