JavaScriptレンダリングサーバーSplashでスクレイピング - orangain flavor
これはクローラー／Webスクレイピング Advent Calendar 2015の9日目の記事です。 本記事では、Scrapinghub社*1が開発しているSplashというオープンソースソフトウェアを紹介します。 github.com JavaScriptを使ったページからスクレイピングする方法としては、PhantomJSとSelenium/CasperJSなどの組み合わせが一般的ですが、これらとは少し違う手段として使えるかもしれないソフトウェアです。 私自身Splashを最近知ったばかりで、軽く探した限りでは日本語の情報もないので、調査しつつSplashの使いドコロを探ってみたいと思います。 Splashとは READMEには以下のように書かれています。 Splash is a javascript rendering service with an HTTP API. It's a
WWW::Scraper で JavaScript を使ったWebサイトへのアクセスを自動化する - ablog
Perl で WWW::Mechanize や Web::Scraper を使ってWebサイトをスクレイピングしたことはあるが、画面遷移に JavaScript を使っている場合、どうすればよいか調べてみた。 例えば以下のように JavaScript を使ってリンクしている場合。 <a href="javaScript:next(2)">次へ</a> WWW::Scripter と WWW::Scripter::Plugin::JavaScript をインストールして*1、 % cpanm -f WWW::Scripter % cpanm -f WWW::Scripter::Plugin::JavaScript こんな具合に WWW::Scripter の eval で JavaScript の関数を呼んでやると画面遷移することができた。 #!/usr/bin/env perl use s
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.uu59.org/2012-09-19-capybara-webkit-crawler.html
