スクレイピング対策 – バレないようにする方法を解説 | Octoparse
「Webスクレイピングをばれないようにどうしたらいい？」Webスクレイピングツールを提供する私たちの元には、このような質問が度々送られてきます。 Octoparseをはじめとした「Webスクレイピングツール」が登場したことで、多くの分野でWebスクレイピングの活用が進んでいます。しかし、Webスクレイピングを問題視する声も少なくありません。例えば、Webスクレイピングによって相手サーバーに負荷が掛かり、最悪サーバーダウンにつながる可能性があります。もし、サーバーダウンによって相手の業務に支障がでたら、損害賠償責任や偽計業務妨害罪などに問われるでしょう。 そのため、Webサイト所有者はWebスクレイピングを制限するために、スクレイピング防止技術を装備して、Webスクレイピングはより困難になっています。しかし、スクレイピングを相手にバレないようにする方法はまだあります。 本記事では、スクレイピ
1秒に1リクエストするクローラーは常識的か : mwSoft blog
某事件に関連して、自分がクローラーにスリープ時間を入れる際に考えていることを晒してみる。 私はクローラーを作る時は、YahooとかGoogleくらいの規模のサイトが相手なら3～5秒スリープ（Googleにはたまに怒られる）、中規模のサイトは15秒スリープ、普通にブラウザで見るだけで「重いなぁ」と感じるようなサイトや、日にPVが1万もなさそうな小規模のサイトは20～30秒スリープしてピークタイムと思しき時間は処理を止める設定にしていました。 また、実行する時間帯を気にしなくても良く、且つ1日に行ないたいリクエスト数が少ない場合は、夜中のうちに走らせることが多いです。1日1000reqでいいならAM2時から15秒スリープで走らせれば明け方には処理が終了します。寝る前にキックして、朝起きたら終わってるというのが1つのパターンです。日本のサービスならその時間帯はサーバの負荷はスカスカのはずなので、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
