robots.txtでAllowを使うのはどんな時？[対象: 中〜上級] 調べる機会があったので忘備録も兼ねた「robots.txtの“Allow”の使い方」の解説が今日のテーマです。 robots.txtは検索エンジンのクローラのアクセスを拒否するために使用します。 英語で「許可しない」を意味する“Disallow”という命令をアクセスを拒否するために用います。 たとえば、以下のようにrobots.txtに記述したとします（ユーザーエージェントを指定する記述は省略してます）。 Disallow: /private/ この場合は、ルートディレクトリのなかにある「private」ディレクトリに含まれているすべてのコンテンツへのクローラのアクセスをブロックできます。 ところが英語で「許可する」を意味する“Allow”という命令をrobots.txtで使用することができます。 よくあるのが次のようなrobots.txtです。 User-Agent
