robots.txt は、ウェブサイトを自動的に巡回しにくるボットのアクセスを禁止したり、制限したりなどの命令を記述するためのファイル。 ボット(Bot)は、ロボット(Robot)、クローラー(Crawler)、スパイダー(Spider)など呼び方はいろいろある。 robots.txt を使う目的は人それぞれだと思うが、多くの人は不要なボットのアクセスを禁止・制限するために使用している。 サーバーのアクセスログをチェックするとGoogleやBingのボットだけでなく、多くのボットがアクセスしてきていることが分かる。 ひどいときは、ユーザーのアクセス数よりボットのアクセス数の方が多いこともある。 世の中行儀の良いボットばかりでなく、クロール間隔が短かったり、単に情報を収集するだけで自サイトに何も恩恵をもたらさないボットも数多く存在する。 そもそもGoogleとBing以外のボットはほぼ不要と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く