Robots Exclusion Standard - Wikipedia

ウィキペディアにおけるRobots Exclusion Standardについては、「MediaWiki:Robots.txt」をご覧ください。 Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。 "robots.txt" は、1994年ごろWebCrawlerという検索エンジンで働いていた Martijn Koster が考案したと

[otori334]

“このプロトコルは全く拘束力がない。あくまでもボット側が協力することが前提であり、robots.txt で指定したからといってプライバシーが保たれることを保証するものではない”

[diveintounlimit]

robots.txt。“RFCや公的な標準化団体が全く関与していない”

[tailtame]

BingもAllow聞いてくれるのか。面倒だから全部DisallowにしてGoogleとBingだけ許可するかなーという面倒くささ。