GPT-3.5やGPT-4などの大規模言語モデルは、インターネット上のさまざまなコンテンツを学習することで、ユーザーからの質問やプロンプトに応えています。OpenAIが2023年8月に技術ドキュメントなどを公開したウェブクローラー「GPTBot」は、アクセスが許可されているウェブサイトから自動で情報を取得し、GPT-4や将来的に公開されるGPT-5などの大規模言語モデルの改善に役立てられるとされています。 GPTBot - OpenAI API https://platform.openai.com/docs/gptbot OpenAI Launches GPTBot With Details On How To Restrict Access https://www.searchenginejournal.com/openai-launches-gptbot-how-to-restric
![OpenAIが将来のAIモデルの改善に向けたウェブクローラー「GPTBot」を発表、同時にAIによる無断での学習を防ぐためのブロック方法も公開](https://cdn-ak-scissors.b.st-hatena.com/image/square/f57a39afe3c29766364bc3332701461a498da93a/height=288;version=1;width=512/https%3A%2F%2Fi.gzn.jp%2Fimg%2F2023%2F08%2F08%2Fopenai-gptbot-web-crawler%2F00.jpg)