Webスクレイピングにおける「サーバーへの負荷」はどのような基準か？ - Qiita

こんにちは。主にサーバー管理の方をやっている者です。 まず前提として、どの程度のインターバルを入れれば「過度な負担」にならないかという業界的・法的な共通認識はありません（と認識しています）。Qiitaを例にすれば、トップページへのアクセスとフリーワードでの検索ではサーバーやDBにかかる負荷がまるで違うわけで、どちらも10msで返ってくるけれども後者ではDBのCPU使用率が跳ね上がっている、といった状況は考えられます。ですから、それが「過度な負担」にあたるかどうかは中の人しか分からないというのが厳密な回答になるでしょう。 個人的には、世界に向けて公開しているサービスに様々なクローラーがやってくることは当然のことで、たかだか数回/秒程度のアクセスで落ちるならそれはアプリが悪いでしょ、と思っています。百度(Baidu)のクローラーが一時期100回/秒以上のアクセス攻勢をかけてきた1ことはまだ記憶