Webオートメーションツールを使って、快適Webスクレイピング - Qiita皆さんこんにちは。しうへいと申します。 今回はWebオートメーションという技術と、それによって可能になる一歩進んだWebスクレイピングについて書きます。 目次 Webオートメーションとは? Webオートメーションを可能にするプロダクト PhantomJS Selenium Ui4j Ui4jの使用例 Webオートメーションツールを使うメリット Ui4jの使用例 Webオートメーションとは? 直訳すると「Webの自動化」、つまりブラウザ操作をプログラムに肩代わりさせるという手法です。 従来の手法としてよく知られているのは、サーバーから取得したHTMLをパースし、セレクタで要素を取得し、次のリクエストを構成してサーバーへGET/POSTするといったものです。 Webオートメーションの技術を用いると、仮想ブラウザ上においてHTMLのみならず、JavaScript/CSS/セッション情報などを全て
