sitemap.xmlとrobots.txtの確認方法 「うちのサイトにはあるのかないのかわからないなあ…」という場合、ご自身のサイトの末尾に下記のように入力し、そもそも設置がされているのか確認してみましょう。 何やら機械的な文字がズラズラと出てきた場合、設定されています。 「404エラー」などと出てきた場合は、そもそも設定自体がされていない可能性があります。 robots.txtの役割 検索エンジンは、クローラーと呼ばれるロボットにサイトを巡回(クロール)させ、サイトの情報を取得しています。 robots.txtは、主に検索エンジンの巡回を指示するファイルです。クローラーは、robotst.txtを一番最初に読み込んで、クロールすべきページとクロールすべきでないページを確認し、効率的にサイトを見ています。 主な用途は以下のふたつです。 検索エンジンのクローラーに対してファイル又はディレク
![XMLサイトマップ(sitemap.xml)とロボッツテキスト(robots.txt)の記述方法|Webマーケティング・SEO相談はデジ研](https://cdn-ak-scissors.b.st-hatena.com/image/square/88990ccbd5e062c1074c489f97233a77f84fd2b7/height=288;version=1;width=512/https%3A%2F%2Fdigital-marketing.jp%2Fwp-content%2Fuploads%2F2016%2F11%2F20_sitemap-xml-and-robots-txt-680x340.png)