http://d.hatena.ne.jp/lesamoureuses/20110222/1298317227Following script works well under Web::Query 0.04+! perl -CIO -MWeb::Query -E 'say wq("http://store.apple.com/jp")->find("#aos_family img.new-icon")->parent->text' 続きを読む
そのXML::Liberalが test でこけまくっていたところから旅が始まった。 ゆーすけべー日記: 壊れた Premiere (映像編集ソフト) のプロジェクトファイルが XML::Liberal (Perlモジュール) で直ったということは、なんとかして壊れたプロジェクトファイルを「well ... 続きを読む
CDTubeのYouTue検索は正規表現のスクレイピングで対応していたが、 HTMLの構造が変わったのか、とってこれなくなった。 よってGDataに移行。 APIキーなくても情報をとってこれるんだね。例 #!/usr/bin/perl use strict; use warnings; use utf8; use URI::Escap... 続きを読む
pipesこのブログでも何度か Yahoo! Pipes の話題は取り上げてきましたが、先日実装された「Page Fetch」モジュールは素敵すぎます。ほんとに。今まで、Yahoo! Pipes といえば、XML・CSV か Yahoo が提供してるサービスのデータを加工することしかできませんでし... 続きを読む
Table of Contents Introduction Why Firequark? XPath vs. CSS Selector Find CSS Selector manually Bundle Scraping Usage - screencast Installation Documentation Todo Firequark is an extension to Firebug to aid the process of HTML Screen Scraping... 続きを読む
Web::Scraper はいたれりつくせりの仕掛けが仕込んであって、便利ですね。私が、割と良く使っている機能は以下 2 つです。process の第一引数に、CSS セレクタだけでなく、XPath も指定できます。ただし、XPath を指定するときは先頭を必ずスラッシュ(/)で始め... 続きを読む
Perlnaoyaのはてなダイアリー - Web::Scraperを見て。これはよさそう。ソース読んでみると単純に値を取得する以外にも、どうやら、配列で結果を受け取ったり、サブルーチンを渡して処理を委譲したりできるようなので、ためしにやってみよう。 use strict; use w... 続きを読む
3年前にこの本に出会って、僕はスクレーピングの虜になった。 おかげで正規表現をたくさん書く機会が得られたし、CPANのモジュールともたくさん触れ合うことができたし、さらに自分自身でも構造化されたHTMLを書く習慣も身についた。 ただ、やっぱり、スクレー... 続きを読む
Today I've been thinking about what to talk in YAPC::EU (and OSCON if they're short of Perl talks, I'm not sure), and came up with a few hours of hacking with web-content scraping module using Domain Specific Languages.Journal of miyagawa (16... 続きを読む