ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita
一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい
Selenium Builderでスクレイピング/クローラー入門・実践 - Qiita
この記事はクローラー／Webスクレイピング Advent Calendar 2016の9日目の記事です。 対象 趣味程度で、サクサクっとスクレイピングを始めたい いちいち要素(CSS Selector, Xpathなど)を調べてコードなんて書いていられない マクロみたいにブラウザの操作を記録して再生したいが、痒いところまで届くように柔軟に書き換えたい Seleniumを使ってみよう Webブラウザ操作の自動化などWebアプリケーションをテストするツール、API、フレームワークで有名なSeleniumを使ってみましょう。 Java、Ruby、Pythonといった様々なプログラミング言語で動かすことが出来ます。 言語ですが、自分はRubyが好きなのでRubyを例にとって説明していきます。 Seleniumの主な用途はテストツールで、Selenium Webdriverと呼ばれているライブラリを
Ruby関連HTML/Webスクレイピング・ライブラリまとめ 2014年版
※[ブックマーク]ボタンの中に delicious, reddit, digg, Google+(G+) のボタンもあります。 2014年5月時点で、HTML/Webスクレイピングに使える Ruby 関連のライブラリたちについて、前回 (2010年) のまとめとの差分とともに、概要をまとめた。各々のライブラリの特徴と入手先、HP、インストール方法、ライセンスなどについて簡単に説明している。 今回扱っているのは、nokogiri, Mechanize, Selenium-webdriver, Capybara-webkit, poltergeist の 5 つ。Ruby 以外にも、PhantomJS, Yahoo!Pipes, ScraperWiki, kimono についても取り上げた。 一覧をまとめたのち、比較と評価、おすすめの用途について簡潔に述べる。 背景 2010年に「Ruby関連
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
seleniumでスクレイピング [Ruby] - 酒と泪とRubyとRailsと
iTunesStoreのランキング | Rubyで始めるWebスクレイピング
