Daisuke Maki / Xango - search.cpan.org
Add clear() call to the DNS cache on startup. On systems with prolonged process life time, it's likely that the DNS cache is holding bad data, so we might as well reinitialize. add tools/checkreqs.pl and custom Makefile.PL Fix Push.pm so that shutdown_broker state kills alarms. EXPERIMETAL Try to work with servers that send 400/408 upon too many connections (the sysadmins must hate me) by graceful
YappoLogs: 大晦日だからXangoをhackる
大晦日だからXangoをhackる ライブドアネ連発で年が終わるのもいやな感じなんですよ。 ってか、ライブドアじゃなくて企業ネタで終わるのがね。 というわけでXangoハック委員会です。 だりいからターボールの提供のみで我慢してくらさい。 ダウンロード なんせ年賀状コンテンツを作らんといけない。 しばらく前に作ったXango製ロボットを公開するよ。 robots.txtとmetaタグに対応してるはず。 MySQLで管理してるよ。 Xango最新版のみでしか動かないからSVNでとってきてね。 しばらく稼動してると固まるバグもあるよ。 配布ファイルのinit_db.sqlでテーブルを作ってよ。 あとは、の __PACKAGE__->set_db('Main', 'DBI:mysql:MyRobots', 'user', 'pass'); の所の場所を適度に変更しろよ。 正直コードは適当だからな
YappoLogs: Xangoというクロウラーフレームワークを使ってみる
Xangoというクロウラーフレームワークを使ってみる Xango XangoはPerlで書かれた汎用クローラーフレームワークです。 イベント型フレームワークPOEを使用することにより高速なクローリングが可能です。 実装にもよりますが、単一プロセス内でインデックシングや文字コードの変換等の処理を 同時に行うアプリケーションでも１秒に５～８ URL、１時間で 18000 ~ 22000 URLの処理が行えます。 ドキュメントはperldocのみっぽいので、日本語の情報を残す意味で使い方のメモをば。 相当端折って書いてます。 Xangoを使ったクロウラーを書くには、制御用のにPOEセッションを作る必要があります。 Xangoを制御するためのモジュールを適当な名前で作っておくのがスマートかと思います。 とりあえずセッション作成を行う処理を書きます sub spawn { my $class = s
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
