[B! Perl][crawler] MOZZのブックマーク

MOZZ id:MOZZ

Perlとcrawlerに関するMOZZのブックマーク (3)

Kazuho@Cybozu Labs: Gungho をインライン化してみた
« Mylingual Slides @ YAPC::Asia 2007 | メイン | Re: PoCo::Client::HTTP が勝手に文字コードを変えてしまう件 » 2007年04月16日 Gungho をインライン化してみたちょっとクローラーが必要になったのですが、POE の勉強は面倒なので Gungho を使って作ることにしました。開発が始まったばかりっぽいけど、使いやすそうだし期待大ということで。で、コードを読んでいて思ったのは、provider (URL をフィードするモジュール) と handler (ダウンロードしたコンテンツを処理するモジュール) は再利用されない (＝各アプリケーション専用の処理になる) 場合も多いんじゃないかということ。だったらいちいちパッケージ定義して設定値渡しとか面倒だよねというか、ぶっちゃけ自分がクロージャで書きたいと思ったので、ラッパー
MOZZ 2008/05/21
crawler

gungho

perl
リンク
YappoLogs: GunghoっていうWebクロウラーたんの件
GunghoっていうWebクロウラーたんの件なんか男前そうなクロウラーたんを発見したお資料はhttp://www.slideshare.net/lestrrat/gungho-swarmage-pocomdba/を見るべし。ちなみに、これ書くのに使ったGunghoはVersion 0.09001 のCPANの。概要 GunghoはPlaggerっぽいwebクロウラーたんです。なのでGunghoの名前空間以下にあるモジュールとかを個別に使おうとしたら大変です。 Gunghoのアーキテクチャにそった一本道な動作をさせるのがいいはず。設定はConfig::Any使ってるので、色んな形式のを使えます。 Providerにより収集URLを取得し、EngineがHTTPでコンテンツを取得し、Handlerで取得したコンテンツを処理します。 Provider,Engine,Handlerは、そ
MOZZ 2008/05/21
gungho

perl

crawler
リンク
Gungho-0.09008
The London Perl and Raku Workshop takes place on 26th Oct 2024. If your company depends on Perl, please consider sponsoring and/or attending.
MOZZ 2008/05/21
perl

cpan

crawler
リンク
1