サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
スクレイピングするなら『ScraperWiki』使うといいよ|ガジェット通信 GetNews
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、『ScraperWiki』 *1 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 *1：ScraperWiki http://scraperwiki.com/ 『ScraperWiki』はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wikiと名が付いていますが、Wikiっぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念がWikiと共通しているのが由来みたいです。 『ScraperWiki』を使うとスクレーパを作るのがラクになります： ・Webベースのエディタでスクレーパを書き、その場で実行できる
Big Sky :: Luaでtwitter発言をWebScraperする
Luaも動的にメンバが追加出来る言語ですので、データ構造を動的に作り上げる事が出来ます。今日はなんとなく、「LuaでWebScraper作ったら、どんなんになるんだろう...」と思いつきで... 用意するのは LuaからXPathを操作出来るltxml LuaからSocketを操作出来るLuaSocket あくまでサンプルですので、CSSセレクタも使えなければ最新のWebScraperの様に相対/絶対URL展開や、フィルタ等はサポートしていません。 またresultも動作させていない為、結果が全て戻ります。 さらにltxmlが内部で使っているTinyXML/TinyXPathの仕様からか、XPathの途中に「//」をめり込ます事が出来ませんでした。 まずLua版WebScraperのソース。 luascraper.lua local http = require("socket.http"
WWW::Mechanize - Perlオブジェクト中のハンディWebブラウザ - perldoc.jp
名前¶ WWW::Mechanize - Perlオブジェクト中のハンディWebブラウザ VERSION¶ Version 1.02 $Header$ 概要¶ WWW::Mechanize、あるいは縮めてMechはWebサイトとのやりとりの自動化を 助けます。これはリンク先やフォームデータの送信を含む、複数のページの取得を サポートします。取得したページはそれぞれ解析され、そのリンクやフォームが 抽出されます。リンクやフォームを選択し、フォームを埋め、次のページを取得 することが可能です。Mechは訪れたURLの履歴を保持しますので、これを問い あわせたり再訪することも可能です。 use WWW::Mechanize; my $mech = WWW::Mechanize->new(); $mech->get( $url ); $mech->follow_link( n => 3 ); $m
株価を無料で取得したり、検索結果を得るスクリーン・スクレイピング技術(AJAX版）と問題点 - ウィリアムのいたずらの、まちあるき、たべあるき
ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです（たま～にコンピューター関係も） 今日Ｗｅｂ２．０をしらべていたときに、ここに「スクリーン・スクレイピング」っていう言葉が出てきて、なんじゃらほい？と思って調べたら、 あ、あれのことか。。 Yahoo!ファイナンス＞ ヘルプ＞ 口座管理サービス（MoneyLook）関連FAQ ＞データ取得の方法から、引用すると（以下斜体が、そこからの引用） スクリーン・スクレイピング技術とは、ウェッブサイトの表示構成を解析し、必要な文字や数字だけを抽出する技術で、その抽出ルールをまとめたものをスクレイピング・モジュールと呼びます。 具体的に例をあげたほうがわかりやすいので、 無料で見れる、ＹＡＨＯＯの株価情報から、エイベックスの株価を抜く方法をしめそう。 YAHOOの株価情報で、検索時7860（エイベックスの銘柄コード）をいれる
scrAPI Cheat Sheet
Selectors *any element Ean element of type E E.warningan E element whose class is "warning" (the document language specifies how class is determined). E#myidan E element with ID equal to "myid". E[foo]an E element with a "foo" attribute E[foo="bar"]an E element whose "foo" attribute value is exactly equal to "bar" E[foo~="bar"]an E element whose "foo" attribute value is a list of space-separated v
3 日坊主日記 - scrapi - ScrAPI toolkit for Ruby
_ [Ruby] scrapi - ScrAPI toolkit for Ruby ruby のスクレイピングツールキット scrAPI $ gem install scrapi だとlib/にlibtidy.dll libtidy.soが置かれるのだけど scraper/reader.rb: def find_tidy() return if Tidy.path begin Tidy.path = File.join(File.dirname(__FILE__), "../tidy", "libtidy.so") rescue LoadError begin Tidy.path = File.join(File.dirname(__FILE__), "../tidy", "libtidy.dll") rescue LoadError Tidy.path = File.join(File.
ruby のスクレイピングツールキット scrAPI - 川o・-・）＜2nd life
http://blog.labnotes.org/category/scrapi/ ruby でスクレイピングして web の情報を取得するのには、今まで正規表現か xpath でやってたので、わりと面倒でした。で、ふと scrAPI というスクレイピングツールキットを知ったのですが、これがかなり便利そう。 このツールキットを使うと、CSS3 なセレクタを記述することで、要素を取得することができます。たとえばとあるサイトのリンクを全部取得したければ、 require 'rubygems' require 'scrapi' require 'open-uri' require 'nkf' require 'pp' $KCODE = 'u' links = Scraper.define do process "a[href]", "urls[]"=>"@href" result :urls e
[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)
■ [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize 今日は、RubyでWebサイトを解析するときに強い味方となるライブラリ、HpricotとWWW::Mechanizeを紹介します。 どちらも非常に強力なので、覚えておいて損はないよ！ 以下ではまずHpricotでHTMLを解析・編集する方法について解説します。 次に、「はてなダイアリーの自動更新」を例にWWW::Mechanizeの使い方を解説します。 Hpricot HpricotはHTMLを解析するためのライブラリです。 例えば「あるページのリンクだけを全部抜き出したい」と思ったとき、どうしますか？scrAPIを使う？でもscrAPIはやっぱり ちょっと使いたいだけなのにパーザ(Scrape)用のクラスを定義するのが面倒なんだよね！ Hpricotなら、たったこれだけで
![[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0dd2a08b2c0fff30d70543ed7fa340ebfeb5697/height=288;version=1;width=512/https%3A%2F%2Froute477.net%2Fd%2Fassets%2Fogimage.png)
Ruby/scrAPIを試してみる:TKMR.blog.show
RSS翻訳のWebサービスあって良いと思うのに、どうも無さそう？。 RSS ⇒ 翻訳サイト ⇒ 翻訳RSSということできれば良いけど、WebAPIを公開してる翻訳サービスって意外に少ない。。WebserviceX.NET :: Web Servicesってとこが公開してるけど、SOAPだしちょい微妙＆scrAPIを使ってみたい。ということで普通の翻訳サービスをスクレイピングして無理矢理やる。まずscrAPIをインストール gem install scrAPI gem install tidy scrAPIのチートシートがあったので参考にしつつ。もしこういうHTMLを読み込むとしたら <div.post_show> <h2><a href="http://hoge">タイトル～</a></h2> <h5>2006-12-01</h5> <div> 本文とか </div>
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
