scraper コマンドの LibXML 対応 & UserAgent 切り替え対応パッチ - Craftworks Tech Blog - Branch
先のエントリで HTML::TreeBuilder::LibXML を紹介しましたが、HTML::TreeBuilder::XPath と、LibXML は下記のように微妙に挙動が違うので、Web::Scraper 付属の scraper コマンドも LibXML を使うように変更しました。 HTML::TreeBuilder::LibXML を使うと、こう書けない a[@href=~"http"] 代わりにこう書く a[starts-with(@href,"http")]また、User Agent によって振り分けてるページも多いので、それも scraper コマンドで対応できるように、第二引数で User Agent 文字列を指定できるようにしました。パッチは以下です。 --- /usr/bin/scraper 2009-03-25 14:33:52.000000000 +0900 +
Web::Scraper を HTML::TreeBuilder::LibXML で高速に - Craftworks Tech Blog - Branch
昨日、HTML::TreeBuilder::LibXML がリリースされました。 Web::Scraper を 16 倍速くする HTML::TreeBuilder::LibXML を書いた http://search.cpan.org/~tokuhirom/HTML-TreeBuilder-LibXML-0.01_02/ （デベロッパーリリース） http://search.cpan.org/~tokuhirom/HTML-TreeBuilder-LibXML-0.03/ 正式リリースされました。 これまでも、Web::Scraper を XML::LibXML で爆速にする hack!などはあったのですが、 HTML::TreeBuilder::LibXML は Web::Scraper にパッチを当てる必要もなく、使う側で use して replace_original() を呼ぶだ
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
