robots.txt は、ウェブサイトを自動的に巡回しにくるボットのアクセスを禁止したり、制限したりなどの命令を記述するためのファイル。 ボット(Bot)は、ロボット(Robot)、クローラー(Crawler)、スパイダー(Spider)など呼び方はいろいろある。 robots.txt を使う目的は人それぞれだと思うが、多くの人は不要なボットのアクセスを禁止・制限するために使用している。 サーバーのアクセスログをチェックするとGoogleやBingのボットだけでなく、多くのボットがアクセスしてきていることが分かる。 ひどいときは、ユーザーのアクセス数よりボットのアクセス数の方が多いこともある。 世の中行儀の良いボットばかりでなく、クロール間隔が短かったり、単に情報を収集するだけで自サイトに何も恩恵をもたらさないボットも数多く存在する。 そもそもGoogleとBing以外のボットはほぼ不要と