robots.txt の概要とガイド | Google 検索セントラル | ドキュメント | Google for Developersフィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 robots.txt の概要 robots.txt ファイルとは、検索エンジンのクローラーに対して、サイトのどの URL にアクセスしてよいかを伝えるものです。これは主に、サイトでのリクエストのオーバーロードを避けるために使用するもので、Google にウェブページが表示されないようにするためのメカニズムではありません。Google にウェブページが表示されないようにするには、noindex を使用してインデックス登録をブロックするか、パスワードでページを保護します。 robots.txt ファイルの使用目的 robots.txt ファイルは、基本的にはサイトに対するクローラーのトラフィックを管理するために使用され、通常は、ファイル形式に応じて Google に対して非公開にするファイル
