Resqueで複数サイトにまたがるクローリングを最適化しよう | VASILY DEVELOPERS BLOG
どうも。バックエンドエンジニアの吉田です。 前回は1サイトをクロールする際の最適化戦略としてRedisベースの分散ロック機構を使った実例を紹介しました。 前回の記事：Redis::DistMutex – 時限付き分散ロックで効率良くサイトクロールをしよう 今回は複数サイトに対する処理をResqueを使って最適化した事例を紹介したいと思います。 ※ランダムにキューをlistenする話の予定でしたが、話がとっ散らかるので主題を変更しました。 主なキーワードとしては、「Resqueのキュー分割」、「Rubyでクラス定義を動的生成」といった感じです。 おさらい 前回使った図を使います。 iQONのクローラーは、提携サイトの商品一覧から商品ページのURLを取得し、ページをダウンロードする処理(fetchフェーズ)を必要な数だけWorkerプロセスとして起動しておき、Resqueを使って処理をして
Redis::DistMutex – 時限付き分散ロックで効率良くサイトクロールをしよう | VASILY DEVELOPERS BLOG
はじめまして。バックエンドエンジニアの吉田です。 2013年5月末の入社以降、大量のEC2インスタンスのVPC移行を担当した後、今はiQONの商品DBを支えるクローラーの改善に取り組んでいます。今回はその改善の1つとして開発したRedis::DistMutexという分散ロック機構のruby実装を紹介をしようと思います。 Redis::DistMutex 開発の経緯や細かい設計の話は後述するとして、まずはつくったgemの紹介をします。 Redis::DistMutex Redisベースの分散ロック機構 rubyのライブラリにあるMutex互換 スレッド間だけでなく、プロセス間・ホスト間でも共有できるMutex 時限つきロックの作成が可能(redisのsetnxとexpireを活用) namespaceを指定できるので、特定の処理ごとにロックの作成が可能 redis2.6以上のみサポート(1秒
Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
スクリプト言語で重要な事はエロ画像集取で学んだ
スクリプト言語で重要な事はエロ画像集取で学んだ 1. スクリプト言語で 重要な事は エロ画像集取で学んだ @shokai 大人のYAPC2013 2. 私 •@shokai (しょうかい) •趣味：料理、glitch、Ruby •Perl書けないけど •LT応募したら通った… 3. Perl勉強した 4. Perl2.0の薄い本 簡潔でわかりやすい！ 5. 正規表現とか配列だけ でもだいぶ色々できる 6. 今日のお話 7. 画像いっぱい集めたい という欲求で いつのまにかRuby書ける ようになってた話をします 8. ぜんぜんPerlでてこ ないけど 9. たぶんPerlでも だいたい同じ感じで プログラミング学習で きると思うから許して 10. 2008年ごろ 11. Yahoo Pipesで 画像掲示板から RSS作りまくった 12. Web系やったこと なかったけど欲望 のまま100
Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
pip install scrapy cat > myspider.py <<EOF import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.zyte.com/blog/'] def parse(self, response): for title in response.css('.oxy-post-title'): yield {'title': title.css('::text').get()} for next_page in response.css('a.next'): yield response.follow(next_page, self.parse)EOF scrapy runspider myspider.py
How to crawl a quarter billion webpages in 40 hours – DDI
More precisely, I crawled 250,113,669 pages for just under 580 dollars in 39 hours and 25 minutes, using 20 Amazon EC2 machine instances. I carried out this project because (among several other reasons) I wanted to understand what resources are required to crawl a small but non-trivial fraction of the web. In this post I describe some details of what I did. Of course, there’s nothing especially ne
Building a Scalable Web Crawler with Hadoop
Building a Scalable Web Crawler with Hadoop by Ahad Rana from CommonCrawl Ahad Rana, engineer at CommonCrawl, will go over CommonCrawl’s extensive use of Hadoop to fulfill their mission of building an open, and accessible Web-Scale crawl. He will discuss their Hadoop data processing pipeline, including their PageRank implementation, describe techniques they use to optimize Hadoop, discuss the desi
openbixo.org - openbixo リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
My Thesis - Building Blocks of a Scalable Webcrawler - Marc's Blog
In my last semester as a student, I had the chance of working for an awesome company (Acquia) on a very interesting project. It all started with a post over at Dries Buytaert's blog. He is the CTO and co-founder of Acquia (and Mollom), inventor of Drupal, open-source celebrity and also knows a thing or two about FPGA-aware garbage collection :). I had a great time with a lot of brilliant people an
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introducing Metascraper - a Scala library for scraping page metadata
The Architecture and Implementation of an Extensible Web Crawler | USENIX
Big Data Consulting & Training | Hadoop, Solr and Cascading | Scale Unlimited » Text feature selection for machine learning – part 1
inr-017.dvi
Storm and the people using it Tickets, Tue, Aug 21, 2012 at 6:00 PM | Eventbrite
now publishers - Error
Christopher Olston
Browsing behavior for web crawling
Crawler-Commons 0.1 released
Google Code Archive - Long-term storage for Google Code Project Hosting.
AnyEventとEC2を使ったクローリングツールのご紹介
