Google による robots.txt の指定の解釈 | Google 検索セントラル | ドキュメント | Google for Developersフィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google による robots.txt の指定の解釈 Google の自動クローラーは Robots Exclusion Protocol（REP）をサポートしています。つまり、Google のクローラーは、クロールする前に対象サイトの robots.txt をダウンロードして解析し、そのサイトのどの部分をクロールできるかについての情報を抽出します。この REP は、ユーザーが管理するクローラー（フィードの購読など）や、ユーザーの安全性を高めるためのクローラー（マルウェア解析など）には適用されません。 このページでは、Google による REP の解釈について説明します。元の標準については、RFC 9309 をご覧ください。 robots.txt ファイルとは サイトのセクションが
