robots.txt の設定と書き方、アクセスの禁止や制限についてrobots.txt の設定方法、User-agent、Disallow の書き方、迷惑なロボットのアクセスを禁止する例。 robots.txt とは、検索エンジンのロボットを制御するためのファイルです。 ロボット（Robot）は、ボット（Bot）、クローラー（Crawler）、スパイダー（Spider）など、呼び方はいろいろあります。 サーバへの負荷とアクセス禁止 robots.txt を使う目的は人それぞれだと思いますが、私は不要なボットのアクセスを禁止するために使用しています。 アクセスを禁止する対象は、やたらとサイト内を巡回し、サーバに負荷をかけるロボットです。 サーバのログを調べてみると、「ユーザーのアクセス数よりロボットのアクセス数の方が多かった」なんてこともあります。 ロボットのアクセスは、ユーザーのアクセスと同様、サーバに負荷がかかります。 ページ数が多く、更新頻度が高いサ
