人間向けブラウザやGooglebotには303KBのフルHTMLを返す一方、ClaudeBot・PerplexityBot・OAI-SearchBotにはその23分の1のサイズのMarkdown形式テキストだけを返している。HTMLもレイアウトも画像もなく、言語モデルが処理しやすい形式に絞られている。 OpenAI系ボットの扱いの差も興味深い。GPTBot(学習用クロール)とChatGPT-User(リアルタイムフェッチ)は406でブロックされているが、ChatGPTの検索インデックスに使われるOAI-SearchBotはMarkdown版に通している。ボットを一律に扱うのではなく、用途ごとに個別に振り分けている。 なお、User-Agentに応じて異なるコンテンツを返す手法はSEOの文脈では「クローキング」と呼ばれ、Googleのウェブマスターガイドラインでは原則禁止とされている。ただし

