[B! scraper] abcb2のブックマーク

【CSS】擬似クラスの:(hoge)-child系と:(hoge)-type系の違いをここいらでしっかり覚えておこうか。 | バシャログ。

対象になるグループの範囲は？ :(hoge)-child系、:(hoge)-type系のいずれもグループ内での順番を判定します。その対象となるグループは、同じ階層に並んでいるひと続きの要素群となります。図にするとこのような感じ。直属の親要素が異なると、別グループになります。また、グループ内の要素の種類は一種類に限りません。「:(hoge)-child」は並び順→要素、「:(hoge)-type」は要素→並び順ポイントはここ。 :(hoge)-child系と:(hoge)-type系では、並び順と要素の判定順が逆になります。 :(hoge)-child系はまず並び順を見て、次にそれが要素と一致するかを見ます。 :(hoge)-type系は指定の要素だけにしぼって、その上で並び順を見ます。最後のdt、1つ目のddにスタイルがあたらなくて困った場合、 dt:last-child {

abcb2 2013/07/03

リンク

Web::Scraper で XPath と CSS セレクタを混ぜて使う例 - Tociyuki::Diary

Web::Scraper はいたれりつくせりの仕掛けが仕込んであって、便利ですね。私が、割と良く使っている機能は以下 2 つです。 process の第一引数に、CSS セレクタだけでなく、XPath も指定できます。ただし、XPath を指定するときは先頭を必ずスラッシュ(/)で始めなければいけません。 process の第二引数以降の、値をどこから取得するかを指定する部分に、コード・リファレンスを置くこともできます。これを使うと、DOM ツリー中の値を加工して抽出することができます。具体例として、デイリーポータルZのアーカイブ一覧の中からべつやくれいさんのエントリを抽出してみることにします。まず、アーカイブ・ページのエントリ部分を取り出してやると、こうなっています。 <TD width="580" valign="top" class="tx12px"> <P> <B><FONT c

abcb2 2012/12/18

リンク

サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ　アルパカDiary出張版

クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。しかしたまたま Scrappy を知り、少し触ってみたところすごくいいのではないか！？と思い記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $it em) = @_; # ４．キューに追加 $self->queue->add($it em->{href

abcb2 2011/07/10

リンク

Web Scraper Shibuya.pm tech talk #8

The document discusses using Web::Scraper to scrape web pages in a robust, maintainable way by using CSS selectors and XPath queries rather than fragile regular expressions. Web::Scraper provides a domain-specific language for defining scraping processes and extracting desired data from web pages into structured results. Examples show how to scrape links, text, and nested data from HTML elements u

abcb2 2011/03/04

リンク

たった＊行のコードでHTML取得＆解析をしたい場合はWeb::Scraperが便利 - 酒日記はてな支店

なんか無茶振りされたので。簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプトを Web::Scraper というモジュールを使って書き直すと、こんな感じになります。 use strict; use Web::Scraper; use LWP::UserAgent; use Encode; my $scraper = scraper { process "#topic sfb li" => "topics[]" => "TEXT"; }; $scraper->user_agent( LWP::UserAgent->new( agent => "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" ) ); my $result = $scraper->scrape( URI->new("http