エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
[ChatGPT] robots.txt によるクローリングの制御方法
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
[ChatGPT] robots.txt によるクローリングの制御方法
概要ChatGPTによるWebサイトへのクローリングを制御したい場合、robots.txtを利用して制御できる。 Chat... 概要ChatGPTによるWebサイトへのクローリングを制御したい場合、robots.txtを利用して制御できる。 ChatGPTは、クローリングとユーザーブラウジングのために、2つの別々のユーザーエージェントを持っている。 GPTBotChatGPT-User現在、オプトアウトシステムは両方のユーザーエージェントを同じように扱っているので、片方のエージェントに対するrobots.txtの不許可(Disallow)は両方に適用されるようである。 User-agent: GPTBot Disallow: / https://platform.openai.com/docs/gptbot User-agent: ChatGPT-User Disallow: / https://platform.openai.com/docs/plugins/bot