JavaScriptを含むサイトをrubyでクロールしてみる - Life is a Role Playing Game価格.comとかは製品一覧の表示をJavaScript使っているのでHpricotやMechanizeだけだと情報をとれないっぽい。 そこでrubyからIEを立ち上げてBotのようにIEを操作して情報を取得しているっぽいwatirというライブラリを試してみた。 やってることの流れとしては watirを使用して「検索する」をクリック。情報の一覧のURLを取得する ↓ Hpricotを利用して取得したURL先をクロールする ↓ スペックのテーブル部分だけを引っ張ってきてhtmlに吐き出す という感じです 検索オプションの設定や、「次へ」のクリックなどをはめんどくさいのではぶいてます。 require 'rubygems' require 'watir' require 'hpricot' require 'open-uri' require 'nkf' # # openするショートカットメソッ
