The CPAN Frequently Asked Questions - www.cpan.org
Comprehensive Perl Archive Network LWPs, POEs, and DBIs -- oh my! Here are some answers to the most common questions received by cpan@perl.org. For general information about Perl you should see the Perl Home Page (www.perl.org). See the Perl FAQ (especially for any Perl programming questions, but also for other resources), available at http://perldoc.perl.org/index-faq.html. I. - General Questions
Xango::Manual::Intro
NAME Xango::Manual::Intro - Learn How To Write Crawlers With Xango DECIDE ON BROKER TYPE There are two types of Xango::Broker -- the "pull" and "push" types. The "pull" crawler is implemented as Xango::Broker::Pull, and the "push" is implemented as Xango::Broker::Push. Xango::Broker::Pull crawler periodically "pulls" the jobs that needs to be processed. Xango::Broker::Push crawler waits for jobs t
[O] CPANを使い始めにくいって聞いた
« グルメ検索サイトは奥深い | トップページ | 八王子みなみ野 横濱屋 牛レバニラ炒め » CPANを使い始めにくいって聞いた [Perl][日記] このまえのブログ合宿で 「CPANのモジュールをインストールとか訳がわかんない」 と聞いて、あー、確かに昔は訳が分からなかったなーと思った。 今も分かってない部分は多いですけど。 Perlを始めたころに困ったのは、サンプル集に「use XML::Simple」と 気軽に書いてあるのでuseしてみたら、XML::Simpleなんて見つからないよ とエラーメッセージが出てしまったことかな。 研究室のPCだとモジュールが入っていたけど、 自分の環境にはモジュールが入っていなかったみたい。 そもそも、そのころはCPANモジュールが足りないことも分からなくて 本当に困り果ててBlog Hacksを読んだ気がする。 そのころはプ
Xangoのサンプルスクリプト - odz buffer
昨日のエントリに軽くブックマークが付いているようなので、サンプルスクリプトをさらしておく。 サンプルの割りに依存ライブラリが多いとか、やたら長いとかはまぁ勘弁。とりあえず Xango::Broker::Push のほうを。 #!/usr/bin/env perl #sub Xango::DEBUG { 1 } package MyHandler; use strict; use warnings; use POE; use Readonly; use HTML::LinkExtractor; use Encode; require Encode::Detect; Readonly::Scalar my $MAX_DEPTH => 5; Readonly::Scalar my $MAX_REDIRECT => 5; sub spawn { my $class = shift; my $sel
)
Perlメモ-モジュールのインストール(CPAN) - Walrus, Digit.
いくつか、分かっていることとわかっていないことがあります。 以下に分かっている範囲でのポイントを挙げます。 Timeout for inactivity during Makefile.PL? [0]では0(デフォルト)にする ここでTimeoutを指定してしまうと、完了またはタイムアウトの通知にalarm関数を使います。 alarm関数はActivePerlでは実装されていないため、エラーになります。 makeは、perl -V:makeが返すものを使う makefile.plはperl -V:makeが返すmakeプログラムにあったmakefileを作るようです。 perl -V:makeがnmakeを返す場合、dmakeを使うとエラーが発生します。 これ以外の設定は、実施者の任意で構いません。 私が意識して行った設定は以下のものです。 Select as many URLs as y
YappoLogs: Xangoというクロウラーフレームワークを使ってみる
Xangoというクロウラーフレームワークを使ってみる Xango XangoはPerlで書かれた汎用クローラーフレームワークです。 イベント型フレームワークPOEを使用することにより高速なクローリングが可能です。 実装にもよりますが、単一プロセス内でインデックシングや文字コードの変換等の処理を 同時に行うアプリケーションでも１秒に５～８ URL、１時間で 18000 ~ 22000 URLの処理が行えます。 ドキュメントはperldocのみっぽいので、日本語の情報を残す意味で使い方のメモをば。 相当端折って書いてます。 Xangoを使ったクロウラーを書くには、制御用のにPOEセッションを作る必要があります。 Xangoを制御するためのモジュールを適当な名前で作っておくのがスマートかと思います。 とりあえずセッション作成を行う処理を書きます sub spawn { my $class = s
File::DirWalk - Hatena::Diary::Neko::kak 500 Internal Server Error
http://back-paper.labs.mfac.jp/show?paper_rid=OEF9g0a6g8 これをみて、globとか久々にみたのですが、 指定ディレクトリ以下のファイルを操作する場合はFile::DirWalkがお勧めです。 #! /usr/bin/perl use strict; use warnings; use File::DirWalk; use Path::Class qw/file/; my $dir = shift or die "usage : $0 <dir>\n"; my $dw = File::DirWalk->new; $dw->onFile(sub { my ($name) = @_; my $file = file($name); my $fh = $file->openr(); while (<$fh>) { print "$_"; }
Perl/fork - Nekokak's core dump
Parallel::ForkManagerを使ったフォーク技 ついでにLWPx::TimedHTTPとか使って時間とてみる。 参考リンク CPAN (Parallel::ForkManager) CPAN (LWPx::TimedHTTP) perldoc.jp (Parallel::ForkManager) Parallel::ForkManagerは使い勝手がいい。 依存モジュールも少ないし、基本置けば動くはず。自分でforkさせるよりラクチン。 LWPx::TimedHTTPは時間とるのに便利だす。 例によてサンプル。 #! /usr/bin/perl use strict; use warnings; use LWP; use LWPx::TimedHTTP qw(:autoinstall); use Parallel::ForkManager; my $pm = new Para
Parallel::ForkManager - 簡単な並列処理によるforkマネージャー - perldoc.jp
Parallel::ForkManager - A simple parallel processing fork manager Parallel::ForkManager - 簡単な並列処理によるforkマネージャー 概要¶ use Parallel::ForkManager; $pm = new Parallel::ForkManager($MAX_PROCESSES); foreach $data (@all_data) { # Forks and returns the pid for the child: my $pid = $pm->start and next; ... do some work with $data in the child process ... ... 子プロセスにより$dataに関するいくつかの処理を行う ... $pm->finish; # Ter
ITmedia エンタープライズ：第3回 XML::SimpleであらゆるXML文書を料理する (1/2)
第3回 XML::SimpleであらゆるXML文書を料理する：作って学ぶ、今どきのWebサービス（1/2 ページ） RSSにおけるXML::RSSのように、専用のモジュールがある場合にはそれを使えばよいのですが、そうでない場合は汎用のXMLパーサーモジュールを使ってパースすることになります。今回は、XML::Simpleを使ってあらゆるXML文書を料理できるようにしてみます。 前回まででXML::RSSによるRSSの料理方法は分かったとして、ではRSS以外のXML文書を料理する場合にはどうしたらよいのでしょう？ RSSにおけるXML::RSSのように、専用のモジュールがある場合にはそれを使えばよいのですが、そうでない場合は汎用のXMLパーサーモジュール*を使ってパースすることになります。 XML文書からPerlのデータ構造を作るXML::Simple Perlの代表的なXMLパーサーである
LWP::Parallel::UserAgent
NAME LWP::Parallel::UserAgent - A class for parallel User Agents SYNOPSIS require LWP::Parallel::UserAgent; $ua = LWP::Parallel::UserAgent->new(); ... $ua->redirect (0); # prevents automatic following of redirects $ua->max_hosts(5); # sets maximum number of locations accessed in parallel $ua->max_req (5); # sets maximum number of parallel requests per host ... $ua->register ($request); # or $ua->r
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://tasuku.suenaga.name/archives/2005/08/xangobrokerperl.html
LWPx::TimedHTTP - time the different stages of an HTTP request - metacpan.org
Parallel::ForkManager - A simple parallel processing fork manager - search.cpan.org
Perl関連 - Walrus, Digit.
まぐまぐ！ - 読みたいメルマガ、きっと見つかる。
Google Answers: Perl: Parallel User Agent question
help on LWP::Parallel | Bytes
http://kerolin.jspeed.jp/Computer/Linux/emacstt060307.html
http://e8y.net/blog/2006/02/18/p104.html