Overview - Anemone - chriskite
skip_links_like example was updated by Alex Johnson Friday Nov 18 #36 / new ticket New to Ruby: Need basic Toturial on How to use anemone to crawl a site? was updated by Alex Johnson 02:54 AM #35 / new ticket New to Ruby: Need basic Toturial on How to use anemone to crawl a site? was updated by Alex Johnson 02:52 AM #35 / new ticket New to Ruby: Need basic Toturial on How to use anemone to crawl a
fizx's robots at master - GitHub
A simple Ruby library to parse robots.txt. Usage: robots = Robots.new "Some User Agent" assert robots.allowed?("http://www.yelp.com/foo") assert !robots.allowed?("http://www.yelp.com/mail?foo=bar") robots.other_values("http://foo.com") # gets misc. key/values (i.e. sitemaps) If you want caching, you're on your own. I suggest marshalling an instance of the parser. Copyright (c) 2008 Kyle Maxwell, c
Anemone - Ruby Web-Spider Framework
An easy-to-use Ruby web spider framework What is it? Anemone is a Ruby library that makes it quick and painless to write programs that spider a website. It provides a simple DSL for performing actions on every page of a site, skipping certain URLs, and calculating the shortest path to a given page on a site. The multi-threaded design makes Anemone fast. The API makes it simple. And the expressive
Rubyでクローラー - BitArts Blog
リンクだけじゃなく、フォーム、イメージ、フレームまでがっつり収集してくれるクローラーが欲しかったんだけどwgetではできないようなので自作することにした。 フォームのフィールドを集めたりするの、ちょっと大変そうだな。。と思ったんだけど、WWW::Mechanizeというライブラリを使ったら超簡単だった。ビバMechanize！ require "rubygems" require "mechanize" class CrawlerListener def notify_begin end def pre_request end def notify_response(result) puts %Q{#{result[:method]} #{result[:uri]} #{result[:query] ? result[:query].inspect : ""}} end def post_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - chriskite/anemone at master
