Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
pip install scrapy cat > myspider.py <<EOF import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.zyte.com/blog/'] def parse(self, response): for title in response.css('.oxy-post-title'): yield {'title': title.css('::text').get()} for next_page in response.css('a.next'): yield response.follow(next_page, self.parse)EOF scrapy runspider myspider.py
Anemone - Ruby Web-Spider Framework
An easy-to-use Ruby web spider framework What is it? Anemone is a Ruby library that makes it quick and painless to write programs that spider a website. It provides a simple DSL for performing actions on every page of a site, skipping certain URLs, and calculating the shortest path to a given page on a site. The multi-threaded design makes Anemone fast. The API makes it simple. And the expressive
日々のサイト運用に。Ruby製のリンクチェッカー·rawler MOONGIFT
rawlerはRubyで作られたコンソールで動作するリンクチェッカー rawlerはRuby製のオープンソース・ソフトウェア。Webサイトを運営していると、リンクが変更されたりドメインごと移転したりする。そうした作業の蓄積によって、次第にリンク切れが発生していく。だがこれまでのコンテンツ全てについてチェックするのは大変だ。 実行中 そこで使われるのがリンクチェッカーだ。自動的にチェックしてくれる仕組みがあれば、毎日自動実行しておいても良いくらいだ。既存のサイトはもちろん、新規サイトでも事前にチェックできる。そのためのライブラリがrawlerだ。 rawlerはコンソールで使うソフトウェアで、rawlerコマンドの後にURLを与えるだけで利用できる。そうするとドメイン以下にあるリンクについて自動でチェックを開始する。今の所リダイレクトがあった場合は301ないし302と出力されるだけになってい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
