JavaScriptレンダリングサーバーSplashでスクレイピング - orangain flavor

これはクローラー／Webスクレイピング Advent Calendar 2015の9日目の記事です。 本記事では、Scrapinghub社*1が開発しているSplashというオープンソースソフトウェアを紹介します。 github.com JavaScriptを使ったページからスクレイピングする方法としては、PhantomJSとSelenium/CasperJSなどの組み合わせが一般的ですが、これらとは少し違う手段として使えるかもしれないソフトウェアです。 私自身Splashを最近知ったばかりで、軽く探した限りでは日本語の情報もないので、調査しつつSplashの使いドコロを探ってみたいと思います。 Splashとは READMEには以下のように書かれています。 Splash is a javascript rendering service with an HTTP API. It's a

[wordi]

onload後のHTMLを返すサービス、ステートレス用途、ローカルではDockerで立ち上げる

[rochefort]

JavaScriptを使わないページはlxmlで、使うページはSelenium+PhantomJSなどと使い分けると、APIが違って面倒。 Splashを使って、JavaScriptを実行したあとのHTMLをlxmlなどでスクレイピング

[hiroomi]

“SplashはHTTP APIを持つJavaScriptレンダリングサービス”

[ko-ya-ma]

ページ内のJavaScriptを解釈して、レンダリングまでやるので、あとはHTMLやイメージを取得して利用

[efcl]

スクレイピングProxyみたいなツール。 "Splashを使って、JavaScriptを実行したあとのHTMLをlxmlなどでスクレイピング"

[digitalglm]

JavaScriptレンダリングサーバーSplashでスクレイピング - orangain flavor: 2015-12-09 JavaScriptレンダリングサーバーSplashでスクレイピング scraping python…

[dkfj]

Splashか。なるほど試してみよう

[berlysia]

あとでためす