AI企業がモデルの訓練のためにWebサイトから大量のデータを収集する動きに対抗して、クローラーをブロックするサイトが増えている。オープンなWebの理念が危機に瀕している。 by Shayne Longpre2025.02.14 10 この記事の3つのポイント インターネットはクローラーに依存しており半分のトラフィックを占める Webサイト運営者はAIクローラーによるデータ収集を恐れ反撃を始めている Webサイトによるクローラー制限はWebの開放性と透明性を損なう恐れがある summarized by Claude 3 私たちはよく、インターネットを当たり前のように利用している。指先ひとつで情報の大海を回遊でき、快適に利用できる。しかし、このシステムは「クローラー(Crawler)」と呼ばれるボットの群れに依存している。これらのボットはWeb上を巡回し、毎日何百万ものWebサイトにアクセスし
