本記事で学ぶ内容 ・robots.txtの書き方がわかる ・robots.txtの設置方法がわかる ・robots.txtが正しく作成出来ているか確認する ・robots.txtをGoogleに送信する ホームページを作成しても、Googleがそのページをクロールし検索結果に表示してくれなければ意味がありません。 robots.txtはこのクローリングを最適化し、重要なページをしっかりと検索結果に表示してもらうために使います。また、検索結果に表示したくないページを指定することも出来ます。 本記事は、robots.txtについて学んでいきましょう。 robots.txtとは robots.txtとは、クローラーの動きを制御できるファイルです。 基本的な書き方 User-agent: Disallow: Allow: Sitemap: