サーバー負荷の原因はAIクローラー？今こそ知りたいUser-Agent一覧

サーバーのアクセスログを見て、「生成AIのクローラーからのアクセスが増えてる」と思ったことはないでしょうか？ 以下の記事によれば、OpenAIのGPTBotは「2024年5月→2025年5月」でリクエスト数が約+305%、全クローリングに占めるシェアが2.2%→7.7%に増加しているとのことです。 クローラー全体のアクセス数も増加傾向にあり、クローラー（AI+検索エンジン）の総トラフィックは年間18%増加したというデータも出ています。 ※グラフは上記記事から引用 今後もクローラーからのアクセスは増えると考えられ、場合によってはサーバー負荷にも影響します。 クローラーからのアクセス遮断を検討する場合、その役割や影響を把握したうえで判断する必要があります。クローラーからのアクセスかどうかや、クローラーの種類はUser-Agentで判定するのが一般的です。 本記事では、主要なクローラーをカテゴリ