非公開ページがia_archiverにアクセスされる問題対策最終更新: 2005/02/23 ia_archiverについて ia_archiverはweb巡回ロボットとして観測されている。巡回が頻繁すぎるとの声もありますが、robot.txtは守り、でたらめなアクセスをしてくることもないので、一見普通のロボットに見えます。 (例) crawl**-public.alexa.com - - [**/***/200*:**:**:** +0900] "GET /robots.txt HTTP/1.0" 200 *** "-" "ia_archiver" crawl29-public.alexa.com - - [**/***/200*:**:**:** +0900] "GET /foo/bar.html HTTP/1.0" 200 ***"-" "ia_archiver" 非公開ページへのアクセス ところが、どこからもリンクを張ってないはずのURLに
