検索エンジンのロボットとユーザーエージェントGoogle や Microsoft など検索エンジンを運営している会社は、インターネット上のウェブサイトの情報を収集してサーバーに保存している。 これはプログラムを使って自動的に行っている。 そのようなプログラムはロボットのほか、ボット、クローラー、スパイダーなどと呼ばれている。 ボットは定期的にサイトを巡回して情報を更新している。 巡回頻度はサイトの更新頻度などにより異なる。 ボットがサイトにアクセスすると、そのユーザーエージェントがアクセス解析や Apache などウェブサーバーのログに残る。 昔のボットは基本的にJavaScriptを無視するため、それを使ったアクセス解析はボットのユーザーエージェントを取得できない場合があったが、のちにJavaScriptを実行するボットも増えてきた。 ボットのユーザーエージェントは変更される場合がある。 2018年7月現在、私が運営しているサイト
サービス終了のお知らせ
