Webクローラ向けツールキット「Cicada」 - Vox

Perlのリハビリがてら、Cicadaというライブラリを書いてみました。Githubからダウンロードして、perl Makefile.pl、make、make test、make installでインストールできると思います。xsなどは使っていないので、libの中身をそのままコピーしてもいいはずです。 【Cicadaのモチベーション】 Cicadaを書いた動機は、GitHubのWikiのほうに書きました。 CicadaはWebクローラを作るためのツールキットです。 長期にわたって使用するWebクローラを作るためのフレームワーク、例えばPlaggerやGunghoのようなものではありません。一時的な用途のための短命なクローラを作るときに頻繁に使用するメソッド集のようなものです。 SYNPSISのコードを見て分るように、Webページを取得したり解析したりといったことは、WWW::Mechani

[inouetakuya]

私のPerlの技術や、Webクライアントライブラリについての認識は、1年以上前のこの時点のもので止まっています。ダメだし、感想、コメントなどがあれば、ぜひtwitterやwassrで声をかけてください。