IVS CTO Night & Day Spring 2015 のLTで発表した内容です /VASILY @kyuns
![iQONを支えるクローラー/iQON Crawler](https://cdn-ak-scissors.b.st-hatena.com/image/square/b77abebd24250fa196631174e3e905085aca0c24/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F29e1648a775c4609843b9bef8b981336%2Fslide_0.jpg%3F4932008)
http://rubygems.org/gems/cosmicrawler ソースは、https://github.com/bash0C7/cosmicrawler gem install cosmicrawlerするとか、Gemfileにgem 'cosmicrawler'と書いてbundle installするとかした後、 require 'cosmicrawler' Cosmicrawler.http_crawl(%w(http://example.com/1 http://example.com/2)) {|request| get = request.get puts get.response if get.response_header.status == 200 } という感じにブロックを渡すだけで、デフォルトでは8並行でババッとクロールすることができます。 もしもっと平行数
Spidr is a versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use. Features Custom User-Agent strings.Custom proxy settings. Follows: a tags.iframe tags.frame tags.HTTP 300, 301, 302, 303 and 307 Redirects. Black-list or white-list URLs based upon: URL schemeHost namePort numberFull linkURL extension
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く