フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 robots.txt の書き方、設定と送信 robots.txt ファイルは、クローラーにサイトのどのファイルへのアクセスを許可するか、管理できるファイルです。 robots.txt ファイルはサイトのルートにあります。つまり、www.example.com というサイトであれば、robots.txt ファイルの URL は www.example.com/robots.txt になります。robots.txt は、Robots Exclusion Standard に準拠した書式なしテキスト ファイルです。robots.txt ファイルは 1 つだけでなく、複数のルールを管理できます。各ルールは、すべてまたは特定のクローラーに対して、robots.txt ファイルがホストされているドメ
![robots.txt ファイルを作成する](https://cdn-ak-scissors.b.st-hatena.com/image/square/de503ffbf07240bfe73e088b6682ee3aa8af0e48/height=288;version=1;width=512/https%3A%2F%2Fdevelopers.google.com%2Fstatic%2Fsearch%2Fimages%2Fhome-social-share-lockup.jpg%3Fhl%3Dja)