明日のために生きたふり » 不用心なクローリングでつかまらないために僕らがやらないといけないこと(匿名プロキシでクローリング)You play with the cards you're dealt..Whatever that means. 不用心なクローリングでつかまらないために僕らがやらないといけないこと(匿名プロキシでクローリング) (c) BuddhaEyes｜写真素材 PIXTA 先日(結構前ですが)岡崎市立中央図書館のサイトを クロールしていた人が、逮捕されるという事件がありました。 まとめ その行為が、法的にひっかっかるかどうかはさておき、 この結果は、普段クローラを書く人からすると恐怖以外の何物でもありません。 正直、自分の生活をちょっと便利にするために2,3時間でさくっと書いたプログラムが原因で、突然お縄につくとかやってられません。 もはや私たちを守ってくれるのは匿名のプロキシサーバだけです。 (もちろん100%安全とは言い切れませんが) というわけで、今回は匿名プロキシサーバを利用し
Examples - httplib2 - Examples of how to use httplib2 - Google Code
W3C HTML batch Validator in Python - てけらぼ
