2-1 user-agent User-agentは、制御したいクローラーの名称を記入する個所です。全てのクローラーを指定したい場合は「*」(アスタリスク)を入れます。 ▼User-agentの記入例 User-agent : * ※全てのクローラーが対象 User-agent : Googlebot ※Googlebotのみ対象 User-agent : Baiduspider ※百度(バイドゥ)のみ対象 クローラーの名称が分からない場合は、ネット検索やアクセスログで確認してください。 2-2 DisallowとAllow Disallowは、クロールをブロックしたいディレクトリやページを記入する個所です。逆にAllowはクロールを許可するディレクトリやページを記入する個所です。クローラーは、Allowを書かなくてもDisall