YappoLogs: Xangoというクロウラーフレームワークを使ってみる

Xangoというクロウラーフレームワークを使ってみる Xango XangoはPerlで書かれた汎用クローラーフレームワークです。 イベント型フレームワークPOEを使用することにより高速なクローリングが可能です。 実装にもよりますが、単一プロセス内でインデックシングや文字コードの変換等の処理を 同時に行うアプリケーションでも１秒に５～８ URL、１時間で 18000 ~ 22000 URLの処理が行えます。 ドキュメントはperldocのみっぽいので、日本語の情報を残す意味で使い方のメモをば。 相当端折って書いてます。 Xangoを使ったクロウラーを書くには、制御用のにPOEセッションを作る必要があります。 Xangoを制御するためのモジュールを適当な名前で作っておくのがスマートかと思います。 とりあえずセッション作成を行う処理を書きます sub spawn { my $class = s

[webmarksjp]

crawler

[khiker]

crawler

[manboubird]

クローラー

[harupiyo]

Perl クローラ 高速 １秒に5～8 URL、１時間で 18000～22000 URL

[kdaiba]

クローラ

[k1m]

Xango チュートリアル。POE を使って高速にクロール

[aql]

Xangoでcrawlerを書いてみるサンプル

[ono_matope]

POEを使ったクローラワークフレームXango

[cheebow]

Xangoの使い方

[ogijun]

Xango使い方

[lockcole]

「XangoはPerlで書かれた汎用クローラーフレームワークです。」

[alchiba]

Perlで書かれた汎用クローラーフレームワーク

[yappo]

[xango] [robots]

[typester]

クローラ用のフレームワークらしい