http://blog.as-is.net/2005/01/get.html

[ryota-murakami]

ある程度クレバーなクローラーならば、サーバー負荷を抑えるために動的コンテンツの収集を控え目に行うロジックが含まれているはずだからです。