Scrapy+AWS LambdaでWeb定点観測のイレギュラーに立ち向かう - 無駄と文化

この記事は クローラー／Webスクレイピング Advent Calendar 2016 の10日目の記事です。 9日目は @hotu_ta さん、11日目は @TakesxiSximada さん でした。 Web スクレイピングはイレギュラーとの戦いです。特にそれが Web 定点観測のためのスクレイピングであれば難易度はさらに高まります。 スクレイピングしようとしたタイミングでサーバーが死んでいるかもしれない クローラーを書いていたときには気づけなかったバグが遅れて発動するかもしれない 知らぬ間にスクレイピングしたいページの URL が変更されるかもしれない そんなイレギュラーに立ち向かうために、現在 私が試している方法をまとめてみます。 その前に「Web 定点観測」とは？ Web 定点観測 とは、一言でいうと「一つの URL を定期的にスクレイピングして経時的な変化を追っていく行為」のこ

[kkotyy]

参考になります。lambdaが登場した当初lxml使うのしぬほど面倒な思いをしたんだけど（そして経過をメモっていなくて忘れている。。）、最近はどうなんだろう。

[shogo_okamoto]

わかりやすかったです。 rollbar.com