初めてのガンホー - file-glob こと k.daibaの日記
初めてのgungho twitterで遊びたい twitterを使っていて，入出力を別のアプリケーションに繋げたいって考えるようになりました．Net::Twitterを使えばアクセスできるし，POEを使えばircでもGTalkでも入出力可能です．でもNet::Twitterは中でLWP::UserAgentを使ってます．ブロックしてしまう可能性があるから，POEの中ではあんまり使いたくありません．で，POEから使えるLWP::UserAgent相当を探してみました．でもざっとみたところTwitterにアクセスするために必要なベーシック認証をサポートしているモジュールはありませんでした．訂正（Apr 16 2007）ここ間違ってます．宮川さんのブックマークで指摘されて気がつきました．例えば，POE::Component::Client::Twitter - POE chat componen
YappoLogs: Xangoというクロウラーフレームワークを使ってみる
Xangoというクロウラーフレームワークを使ってみる Xango XangoはPerlで書かれた汎用クローラーフレームワークです。 イベント型フレームワークPOEを使用することにより高速なクローリングが可能です。 実装にもよりますが、単一プロセス内でインデックシングや文字コードの変換等の処理を 同時に行うアプリケーションでも１秒に５～８ URL、１時間で 18000 ~ 22000 URLの処理が行えます。 ドキュメントはperldocのみっぽいので、日本語の情報を残す意味で使い方のメモをば。 相当端折って書いてます。 Xangoを使ったクロウラーを書くには、制御用のにPOEセッションを作る必要があります。 Xangoを制御するためのモジュールを適当な名前で作っておくのがスマートかと思います。 とりあえずセッション作成を行う処理を書きます sub spawn { my $class = s
Xango and crawler - odz buffer
クローラを作る必要に迫られているので、Crawler Framework の Xangoや、crawlerを試してみたり。 POEを全然使ったことがないせいか、Xangoのほうは最初付属のPODを呼んでも全然分かんなかったんだけど、そこは Plagger::Plugin::Aggregator::Xango とか、t/02-pull.t と t/lib/XangoTest/SimplePull/{Broker,Handler}.pm あたりを読んでがんばる。ていうか POD の SYNOPSYS にすぐ動くサンプルを書いていてほしいと思ったり。あと、公式サイトに書いてある svn://svn.razil.jp/Xango/trunk って SVN レポジトリがアクセスできないけど http://svn.razil.jp/Xango/trunk ならアクセスできる罠。まぁ、最終的には CPA
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://tasuku.suenaga.name/archives/2005/08/xangobrokerperl.html
