インターネットセキュリティ企業の米Cloudflareは7月3日(現地時間)、AIによるWebサイトのスクレイピング(データの自動収集)を防ぐ新機能を発表した。この機能により、Webサイト運営者は簡単な操作でAIボットからサイトを守ることができるようになるとしている。 近年、米OpenAIの「ChatGPT」などの生成AIの登場により、AIの学習に使用されるデータの需要が急増している。そのため、多くのAI企業がインターネット上の情報を大規模に収集しようとしている。 従来、Webサイト運営者はrobots.txtというファイルを使用して、検索エンジンのクローラーなどのボットにサイトのどの部分にアクセスしてよいかを指示していた。 だが、この方法には限界があるとCloudflareは説明する。例えば、robots.txtは「紳士協定」のようなもので、悪意のあるボットは無視する可能性がある。また、