SEO、AI関連など、その他のボット一覧

GoogleやBing以外にも多くのボットが存在し、SEO（検索エンジン最適化）関連サービスのボットも多い。 最近はAIのボットも増えている。 サーバーのアクセスログを見ると、ユーザーよりボットの方がアクセスが多いことも珍しくない。 サイトに無駄に負荷をかけているだけのスパムのようなボットも見られる。 それらのアクセスを拒否するには robots.txt に記述すれば良いが、中には robots.txt を無視するボットも存在する。 そのような場合、.htaccess にIPアドレスやホスト名でアクセスを拒否することになる。 Googleのように集客力があれば良いが、サイトのアクセスアップに貢献しないボットはサーバーに負荷をかけるだけの存在といっても過言ではない。 ここでは私が運営しているサイトのアクセスログで見かけた Google、Bing などメジャーな検索エンジン以外のボットを紹介す