人間になりすますウェブ巡回プログラム人間になりすますウェブ巡回プログラム 2006年1月19日 コメント： トラックバック (0) Quinn Norton 2006年01月19日 ワシントンDC発――ウェブサイトを閲覧する訪問者には2種類ある。一方はあちこちのサイトを覗いて、画像に目を通し、リンクを見てあれこれと考え、ゆっくりしたペースでクリックする人間の訪問者だ。これに対し、もう一方のウェブ・クローラー(ウェブ自動巡回ソフト、スパイダーとも呼ばれる)は、自動的にページを読み取るプログラムで、『Google』(グーグル)などの検索エンジンなどから送り込まれる。さらに気味の悪いことに、悪意を持った攻撃者や競合他社、さらには電子メールアドレス収集をもくろむスパム業者から、こうしたクローラーが送られてくることもある。 それでも、幸いなことにサーバーログを見ればこの2種類の訪問者の区別は簡単につくので、サイト運営者にとって望ましく
