こんにちは、SEO分析ツール「アナトミー」開発チームの伏見です。 robots.txt とは、クローラのサイト巡回を制御するためのファイルです。XMLサイトマップと同じように、robots.txt もクローラビリティに大きく影響します。特に、クローリングされるページ数が多いECサイトなどでは、robots.txt を慎重に設定したほうがよいでしょう。 この記事では、robots.txt の書き方や設置方法、設定の確認方法、よくある誤りなどを詳しく紹介します。 SEOの基本知識についてはオンラインセミナーでも解説しています。セミナーではGoogle公式のSEOガイドであるGoogle検索セントラルの「Google検索の仕組み」と「スターターガイド」の内容を読み解くことで正しいSEO基礎知識のスタート地点を受講者に提供することを目指しています。これからSEOを始めようと考えている方は是非ご参加