Web::Scraper を XML::LibXML で爆速にする hack! - woremacxの日記
id:miyagawa さんの Web::Scraper で、HTML::TreeBuilder::XPath の代わりに XML::LibXML を使うととても幸せになれそうなので実験してます。XML::LibXML に手を出す前に IRC で「tinyxpath とか htmlcxx とか使って xpath 周りを高速にしたい」とかボヤいてことがありました。そのときに、id:vkgtaro さんや id:tomyhero さんに激しく libxml や XML::LibXML をオススメされました。libxml をオススメしてもらえてなかったら、確実に路頭に迷ってました。以下が、変更したファイルと差分です。http://pub.woremacx.com/Web-Scraper/Scraper.pmhttp://pub.woremacx.com/Web-Scraper/Web-Scrap
をれをれ subversion リポジトリを作って外部のリポジトリを使いやすいように料理しよう！ - woremacxの日記
coderepos や lazy-people や vaginarepos といろんな subversion リポジトリにアカウントもらって、さらにはプライベートな subversion リポジトリがあったりすると、どこになにがあったのかさっぱりです。そんなときは、をれをれ subversion リポジトリを作って自分が使うものだけを集約すると、快適な生活を送れるかと思います。やり方はカンタンです！プライベートなリポジトリ( http://example.com/repos/private/ )を用意して、svn:externals をセットするだけです！ # checkout する $ svn co http://example.com/repos/private/ $ cd private # coderepos 用ディレクトリを作る $ svn mkdir coderepos $ s
TheSchwartz::Worker な Plagger をいっぱい動かす！！ - woremacxの日記
Plagger4 月の末に PlaggerLDR にもどった とか言ってたけど、1 時間おきに Plagger まわしてたら、何重にも起動してひどいことになっていて、対策考えるのまんどくさくなってやめてた。1 時間かかっても巡回が終わらない原因は CPU の限界とかではなくて、相手の鯖の反応待ちの積み重ねなので、Plagger を平行動作させればウマーになるのではないかということで、TheSchwartz とくっつけてみることにした。フィード 1 個ごとに Job を 1 個発生させている。また、フィードごとに色々初期化すると重くなる原因なので、最初に読み込んだら読み直さずにずっと使い続けるようにした。Plagger のロード済みの config を書き換える部分は、昔 Catalyst + Plagger で遊んだときのコードそのまんまでうまくいった。eft_worker.pl #!/u
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
