クローラー/スクレイピング Advent Calendar 2014の6日目です。あと、全部俺Advent Calendarも開催中です。 リクエストがあったので、Mechanizeを使ったスクレイピング方法についてです。Mechanizeは、対話型の処理を得意とするスクレイピングの補助ツールです。対話型とは、例えばIDとパスワードを使ってログインするようなサイトなので、それぞれ項目に入力して次のページに遷移するような行為です。 Mechanizeのサンプルソース 下記は、Amazonアソシエイトサイトから売上を取得するサンプルです。 require 'mechanize' uri=URI.parse('https://affiliate.amazon.co.jp/') agent = Mechanize.new agent.user_agent_alias = 'Mac Safari'
![Ruby+Mechanizeで対話型のスクレイピング - プログラマでありたい](https://cdn-ak-scissors.b.st-hatena.com/image/square/3ee35193d13ed55f9f3f3b2c2d3f592e16e1624e/height=288;version=1;width=512/http%3A%2F%2Fecx.images-amazon.com%2Fimages%2FI%2F51qDobozaNL.jpg)