Googlebot のアクセスが多すぎて悩ましい時の対処方法その昔に Amazon の API が公開されたばかりの時に作った − Butsuyoku.info :: 最新の口コミ情報を見ながら Amazon でショッピング！ なんですが、作ってすぐに興味もなくなり、口コミ情報といいつつ、API 変更にも対応せず口コミ情報が取得できない状態になっていたり、ボロボロ状態で数年放置状態なわけですが、Googlebot さまは一生懸命にクロールしに来てくれています。 ってかマジヤバイ。コンテンツキャッシュにMySQL を使って作ったんですけど、テーブルサイズがすぐに 4GB になっちゃいます。MySQL側の設定で 4GB 超え対応していないので、いつの間にか FastCGI がエラー吐きまくっていて Lighttpd 全体がフリーズしてしまう。なんてことが度々ありました。 Googlebot のアクセスはこんな感じ。毎秒アクセスしに来る感じです。つまり、
