サーバ管理者日誌 クロールとDoSの違いと業務妨害罪と#Librahack[http://twitter.com/search?q=%23librahack] の議論。多く登場する「スクレイピング」と書こうと思ったけれども、クロールで得たHTMLの後処理がスクレイピングだから、ここでは「クロール」対「DoS」とした。 そもそも、クロールとDoSは行っている側の目的に決定的な違いがある。 クロールを行う際は、クロールによって相手サーバの情報を取得することが目的だ。そのために、リクエストに対する応答を受け取って、そのまま保存するなり、何らかの加工（スクレイピング）を行って、情報を保存する。 情報を得るのが目的だから、サーバが落ちるのは困る立場だ。 一般的な作りとしては、ページのリクエストを出して、結果を受け取ったら、その場で解釈して、次にリクエストを出すページを決めるか、あるいは予め予定している次のページのリクエストを出す。この間に待ち時間を入れ
