robots.txt の基礎robots.txtは、ロボットのためのファイル アクセスログの確認 アクセスログを見る環境を持っている人は、分かっているはずだが、ロボットは、最初にサイトトップのrobots.txtにアクセスする。 アクセスの許認可 ロボットは、Webサイトを巡回するにあたって、まずサーバの最上位階層のrobots.txtにアクセスし、サーバ内のアクセスの許可を確認してから、アクセスを行うように推奨されている。 ホームページスペース プロバイダや無料サービスなどのホームページスペースでは、このrobots.txtは使えない。ドメイントップのindex.htmlなどと同じ階層におかねばならない。 robots.txtの記述 すべてを巡回 robots.txtには、すべてのディレクトリを巡回し、ファイルをGETされたい場合は、 User-agent: * Disallow: のように記述する。 Goog
