SEO対策してサーチエンジンクローラの導線も張った結果、各サーチエンジンのインデックス数も上昇し検索順位も上がってめでたしめでたし、と思っていたら。 ディレクトリの奥の奥の重箱の隅みたいなとこまでクローラが行くようになったせいで、クローラ訪問時のアクセス負荷が上がり、キャンペーンとかなんかのきっかけでのユーザアクセス増大とクローラ訪問がたまたま重なると、盆と正月が一緒に来たみたいになってサーバ障害が発生するようになってしまった。 とりあえずディレクトリ中の、奥の奥の重箱の隅みたいなSEO的にほとんど効果がないと思われるとこには、robots.txtやrel属性・meta要素のnofollow設定施して対策打ったので、とりあえず今のところは大丈夫っぽい。 でもそもそも、一部のディレクトリは静的ファイルでなく、動的生成をmod_rewriteを使った見かけのディレクトリにしているので、アクセ