robots.txt の概要とガイド | Google 検索セントラル | ドキュメント | Google for Developers

フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 robots.txt の概要 robots.txt ファイルとは、検索エンジンのクローラーに対して、サイトのどの URL にアクセスしてよいかを伝えるものです。これは主に、サイトでのリクエストのオーバーロードを避けるために使用するもので、Google にウェブページが表示されないようにするためのメカニズムではありません。Google にウェブページが表示されないようにするには、noindex を使用してインデックス登録をブロックするか、パスワードでページを保護します。 robots.txt ファイルの使用目的 robots.txt ファイルは、基本的にはサイトに対するクローラーのトラフィックを管理するために使用され、通常は、ファイル形式に応じて Google に対して非公開にするファイル

[suginoy]

“サイトの robots.txt ファイルをテストする”

[tatsunori_tachiki]

http://bit.ly/YZUE5N

[takimo]

robots.txt

[ken3memo]

robots.txt で なにかあったら ココに来る/誘導する

[hisasann]

UAとか