Rubyでスクレイピングをする場合のライブラリの選び方 - Qiita

はじめに Rubyではスクレイピングを行う場合に、利用できるライブラリが幾つか用意されている。使い分けに悩まないように、明確な基準を設けておく。 スクレイピングとは ここでは、以下をスクレイピングとして扱う。狭義の意味では、2だけのことを表すのかもしれない。 URLにアクセスして、HTMLなどを取得する。 取得したHTMLなどから、必要なデータを抽出する。 ライブラリは上記の1,2別に必要となるが、「2. 取得したHTMLなどから、必要なデータを抽出する。」部分は、「Nokogiri」というライブラリがデファクトスタンダードとなっているため、Nokogiriを利用する。 「1. URLにアクセスして、HTMLなどを取得する。」部分のライブラリは、対象とするサイトの特質によって利用すべきライブラリが異なる。 Capybara + PhantomJS(poltergist) JavaScrip