Google検索結果のスクレイピング - imHo

GoogleのサーチAPIの新規登録ってなんで廃止されちゃったんだろう…。AJAX版は使えるけど、サーバ側などで加工できないから不便。 しかたがないのでスクレイピング。Hpricot を使って： #!/usr/local/bin/ruby -Ku require 'rubygems' require 'hpricot' require 'open-uri' require 'cgi' API = "http://www.google.co.jp/search?num=10&lr=lang_ja&oe=utf-8&q=" word = ARGV.shift url = "#{API}#{CGI.escape(word)}" html = open(url).read doc = Hpricot(html) results = doc / "div.g" # 検索結果は <div class=