サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
スパイダリング(Spidering)の基礎
スパイダリング(Spidering)の基礎 宮崎 真, 廣安 知之, 三木 光範 ISDL Report No. 20050813008 2005年 9月 19日 Abstract スパイダ(spider)とは，インターネットから様々な情報を自動的に取得するプログラム のことである．スパイダを用いることによって，例えば複数のサイトにまたがって存在する情報を 組み合わせて，データ蓄積やファイル保存，独自の検索システムを構築，など様々なサービス が可能となる． 本報告では，このスパイダリングについての概要および注意点を述べる． 1 はじめに 現在，Webサイトの肥沃化が進んでおり，実に30億以上ものページがWeb上に存在している． 多くの情報がオンライン化され，Webは従来に比べずっと閲覧しやすく，検索しやすく， 便利になったのである．しかしながら，この巨大なWebに対し，Webユ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
