あるサイトの HTML を取得して更新をチェックするというスクリプトを書こうとしています。 wget を使用してHTML ファイルを取得したところ、 JavaScript が使用されていたサイトであった為、JavaScript のコードが取得できただけで実際のデータを取得することはできませんでした。 このような場合、 JavaScript を実行した結果を取得する方法はどのようなものがあるのでしょうか? 最近、 Ruby を触りはじめたこともあり、 RubyToolbox で "HTML get JavaScript" と検索してみましたが、思ったようなライブラリが見つけられず困っています。 もし情報ありましたら、教えていただけないでしょうか。 よろしくお願いいたします。
JavaScript が使われているサイトのスクレイピングなどに役立つ Watir Webdriver 。しょっちゅう使っているのでこれに関する記事を書きたいと思いつつ書いてなかったのですが、今回 ruby - JavaScript が実行された後の HTML を取得したい - スタック・オーバーフロー へ勢いで回答した内容をそこに留めておくのがもったいない気になったので、こちらへもコピペしておきます。 Watir Webdriver の具体的な使い方 StackOverflow 日本版へのログイン( StackExchange のメールアドレス&パスワードを使用)を、 pry 環境下で Watir Webdriver と PhantomJS を使って行ってみます。 さらに( Nokogiri の使い方の例として)私が回答した記事のタイトル(現時点で5つあります)を取得してみます requ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く