クローラー構築の際に気をつけたいこと - Qiitaこの記事は CAMPHOR- Advent Calender 2015 延長戦、29日目の記事です。 今回はスクレイピングについてです。スクレイピングのやり方なんかは他にたくさん記事が上がっているのでそういうのはやめて、昔クローラーとしてたくさんのサイトを継続的にスクレイピングして回っていた(google botかな？)ときに経験したことについて書いていこうかなと思っています。これからクローラーを構築しようとしている方の参考になればと。 DOS攻撃をしない 基本ですね。スクレイピングをするときはサーバーへの負荷も考えて、あまり一度にたくさんのリクエストを送らないようにしましょう。 サイトのリニューアルを検知 webサイトは時として何の前触れもなくリニューアルがされて全く違う構造になることがあります。ECサイトなんかは企業の買収や合併も激しく、リニューアルも頻繁に行われることでしょう。イケイ
