JavaScriptレンダリングサーバーSplashでスクレイピング - orangain flavor
これはクローラー／Webスクレイピング Advent Calendar 2015の9日目の記事です。 本記事では、Scrapinghub社*1が開発しているSplashというオープンソースソフトウェアを紹介します。 github.com JavaScriptを使ったページからスクレイピングする方法としては、PhantomJSとSelenium/CasperJSなどの組み合わせが一般的ですが、これらとは少し違う手段として使えるかもしれないソフトウェアです。 私自身Splashを最近知ったばかりで、軽く探した限りでは日本語の情報もないので、調査しつつSplashの使いドコロを探ってみたいと思います。 Splashとは READMEには以下のように書かれています。 Splash is a javascript rendering service with an HTTP API. It's a
AjaxなページもPhantomJS, CasperJS, SpookyJSでいい感じにクローリングできるようにしてSEOする
ajaxなページもクローラーに読ませたいですよね。 そこでPhantomJS, CasperJS, SpookyJSです。 簡単に説明するとこんな感じ casperJSをNodejsから使えるようにするやつ こういうことをしたい クローラーがアクセスしてきた時だけ、アクセスしたURLをSpookyJSサーバーに投げて、SpookyJSがそのURLにアクセスし、DOMを取得してからクローラーに返すってことをしたらよさそうです。 SpookyJSをインスコ SpookyJSはもちろんphantomJSとcasperJSに依存してるので、まずはこの２つをグローバルに入れる必要があります。 npm install phantomjs -g npm install casperjs -g 必ず -g オプション！ 次にプロジェクトのディレクトリで npm install spooky これしたら、O
PhantomJS入門 CasperJSを使う - Murayama blog.
ここんとこのブログの題材として２週間ほどPhantomJSを触ってみましたが、これけっこう難しいです。JavaScript独特のイベント処理や、WebKitの仕組みうんぬんで、リンクをクリックするのにもハマったりします。 何かいい方法あるはず、、と調べてたら、やっぱりあるんですね。 CasperJS CasperJS is a navigation scripting & testing utility for PhantomJS, written in Javascript http://casperjs.org/ CasperJSは、JavaScriptで実装されたPhantomJSのユーティリティです。ざっくり以下のことができます。 ブラウザのナビゲーションステップを順に定義できる フォーム入力 リンクのクリック ページのスクリーンショット（画面の一部分だけもOK） リモートDOMの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Using the command line
