迷惑ボットMJ12bot/v1.4.5によるクロールをrobot.txtで停止する方法急に増えたサーバ負荷と、異常に発生している404エラー このサイトではflentdとGrowthForecastを利用してサーバのログを可視化をしています。 「今日は少し重いかな」と思ってグラフを見てみると、数日前から3xxと4xx系のエラーが急増していました。 可視化の方法が知りたいという方は「サーバリソースをリアルタイムに監視するdstatのインストールと使い方」をご覧ください。 明らかにエラーが多すぎるのでサーバのログを見てみるとMJ12botというボットによる以下のようなログが大量に書き出されていました。 time:21/Jul/2015:08:10:44 +0900 host:198.27.66.194 request:GET /qa/tag/ada?login=google HTTP/1.0 status:302 size:20 referer:- ua:Mozilla/5.0
