Scala School - An introduction to Finagle
Finagle is Twitter’s RPC system. This blog post explains its motivations and core design tenets, the finagle README contains more detailed documentation. Finagle aims to make it easy to build robust clients and servers. REPL Futures: Sequential composition, Concurrent composition, Composition Example: Cached Rate Limit, Composition Example: Web Crawlers Service Client Example Server Example Filter
Lambdaで作るクローラー／スクレイピング - プログラマでありたい
話題のAWS Lambda Advent Calendar 2014の14日目です。クロスポストで、クローラー／スクレイピング Advent Calendar 2014の14日目でもあります。 re:Inventで発表されて以来、注目のLambdaです。サーバを用意しなくても、バッチを直接実行できるとあって、ユースケースを考えるだけで夢が広がります。今年はクローラー本を出したこともあって、Lambdaで作るクローラー／スクレイピングをテーマにします。 クローラー／スクレイピングとは？ Webクローラーは、Webサイトを巡回してデータを取得するプログラムです。スクレイピングは、取得したデータから目的の情報を抜き出すことを指します。一般的には、クローラーの中に、スクレイピングの機能を包含していることが多いです。また、特定のページだけ取得してデータを抜き出すことを、スクレイピングと呼ぶことが多い
クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京 - プログラマでありたい
2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み
denigma/nomad · GitHub
README.md Nomad - focused highly customizable web crawler Features Crawling of multiply domains Allows to write flexible rules to decide which links crawl. Support of robots.txt MongoDB(GridFS) as storage for crawled content TitanDB(with InMemory, BerkeleyDB or Cassandra backend) to store graph of links. Written in Scala. Works in Linux. It should work in Win as well, but I haven't tested it. How
Selenium Webdriver as a deadly weapon | sap1ens.com
Weapon During my career I see the battle between website/web app owners and bots/scrapers/crawlers writers. I thought this battle can’t be won. But about 6 months ago I joined it and I think now I have [almost] deadly weapon. Selenium Webdriver is my choice. Probably, you heard or used it before. It’s the most popular tool for the functional tests (also known as end-to-end tests), and projects lik
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Best way to get around web crawl throttling for Amazon.com
GitHub - simplecrawler/simplecrawler: Flexible event driven crawler for node.
GitHub - bda-research/node-crawler: Web Crawler/Spider for NodeJS + server-side jQuery ;-)
GitHub - apache/incubator-stormcrawler: A scalable, mature and versatile web crawler based on Apache Storm
Indexing into ElasticSearch with Akka and Scala
SpiderDuck: Twitter's Real-time URL Fetcher
GitHub - daniel-trinh/sprawler: Akka and Spray based webcrawler
GitHub - lloydmeta/metascraper: Scala library for scraping metadata from specified URLs (e.g. OpenGraph)
GitHub - bplawler/crawler: Scala DSL for web crawling
クローラー／スクレイピングのカレンダー | Advent Calendar 2014 - Qiita
GitHub - gip/fureteur: Fureteur is a simple, configurable, fault-tolerant web crawler written is Scala
Selenium Webdriver as a deadly weapon | sap1ens.com
Start with Akka: Let's write some scraper | sap1ens.com
LinkedIn Login, Sign in | LinkedIn
GitHub - paxan/ccooo: Common Crawl One-Oh-One (aka "A Common Crawl Experiment")