robots.txt の書き方、設定と送信 | Google のクロール インフラストラクチャ | Crawling infrastructure | Google for Developers

フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 robots.txt の書き方、設定と送信 robots.txt ファイルは、クローラーにサイトのどのファイルへのアクセスを許可するか、管理できるファイルです。 robots.txt ファイルはサイトのルートにあります。つまり、www.example.com というサイトであれば、robots.txt ファイルの URL は www.example.com/robots.txt になります。robots.txt は、Robots Exclusion Standard に準拠した書式なしテキスト ファイルです。robots.txt ファイルは 1 つだけでなく、複数のルールを管理できます。各ルールは、すべてまたは特定のクローラーに対して、robots.txt ファイルがホストされているドメ