PhantomJSとPoltergeistでHeadlessなJavascriptテスト環境を作る - リア充爆発日記
RailsでJavascript/CoffeeScriptをテストするときの決定版（にしたい）！Konachaの続き。 最初はブラウザリロードすればいいんだから、わざわざやらなくていいか、と思ったけど、当該環境がファントムとかポルターガイストとか中二病の諸症状を悪化させる瘴気にまみれていたため、やらざるを得なくなりました。 ところでヘッドレスとは、ただ単にGUIじゃないよ、というだけで、かっこつけてんじゃねーよとか最初は思ったけど冷静になってみると、別にそんなかっこよくもねーか、ということでとにかくそういうことで。 Rails前提の話です。 PhantomJSのインストール http://phantomjs.org/ PhantomJSが、そのヘッドレスブラウザの本体。 macだとhomebrewで入る。 brew install phantomjsウィンドウズのかたはゲイツとかにインスト
Node.js × PhantomJS で何でもサクサクスクレイピングするよ！ - 凹みTips
はじめに 先日、PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips という記事を書きました。 前回は PhantomJS のみを用いてスクレイピングを行なっていましたが、スクレイピングした結果を使って色々やりたい！となると、Node.js の力を借りたくなってきます。単純に取得した HTML を利用するだけなら、PhantomJS の fs モジュールを使って HTML をファイルに書き出し、これを Node.js で読み取って…、なんてことをすれば可能ですが、何かしらの入力を受けて動的にページを遷移したい、となると厳しくなってきます。 そこで、本エントリでは PhantomJS を Node.js から使って色々出来るよ！ということを解説したいと思います。 利用するモジュール PhantomJS をラップした Node モジュールは沢山あります。試
ariya/phantomjs: Scriptable Headless Browser
PhantomJS - Scriptable Headless WebKit PhantomJS (phantomjs.org) is a headless WebKit scriptable with JavaScript. The latest stable release is version 2.1. Important: PhantomJS development is suspended until further notice (see #15344 for more details). Use Cases Headless web testing. Lightning-fast testing without the browser is now possible! Page automation. Access and manipulate web pages with
橋本商会 » HerokuでSinatra+PhantomJS
ためしに、URLを入れるとaタグのhref属性とxy座標と幅と高さが取れる簡単なアプリを作ってみた。herokuでwebkitが動いててサーバー側でいったんページをレンダリングしてるから、座標とかがわかる。 http://phantom-getlinks.herokuapp.com/ ソースコード https://github.com/shokai/sinatra-heroku-phantomjs readmeに書いてある通りやればローカルでもHerokuでもすぐ動かせるのでcloneしてみるとよい。 PhantomJSでページをレンダリングしてからaタグの座標とか読む PhantomJSはプロセス内にwebブラウザ(webkit)を起動して、しかもその中のJavaScriptにアクセスできる → 橋本商会 » PhantomJSでwebページ内のJavaScriptを読む Phantom
橋本商会 » PhantomJSでwebページ内のJavaScriptを読む
Webページをスクレイピングしてる時、HTMLじゃなくてJavaScriptの変数をのぞきたい事が稀によくある。 インストール brew install phantomjs document.titleを取得 page_title.js var url = phantom.args[0] || 'http://shokai.org'; page = new WebPage(); page.open(url, function(stat){ if(!stat){ phantom.exit(); } else{ var title = page.evaluate(function(){ return document.title; }); console.log(title); phantom.exit(); } }); 実行 phantomjs page_title.js http://go
PhantomJSでページに注釈を付けてスクリーンショット撮るやつ - hitode909の日記
WebOverlayっていうツールを作った．指定されたURLのページを開いて，要素を囲んでラベルを載せて，スクリーンショットを保存してくれる便利ツール． GitHub - hitode909/web-overlay: Annotate A Web Page and Take a Screenshot with PhantomJS. ためしにAppleのトップページの画像を囲んだ様子． こういう設定ファイルをWebOverlayに渡して実行するとimgタグが赤い線で囲まれてそれぞれ右下にimageっていうラベルがついたスクリーンショットが出てくる． { "url": "http://apple.com", "overlays": [ { "selector": "img:visible", "label": "image", "type": "all" } ] } 例だから画像を全部囲んでみ
PhantomJS - Scriptable Headless Browser
Build PhantomJS from Source Unless it is absolutely necessary to build PhantomJS from source, it is highly recommended to download and install the ready-made binary package instead. Requirements Hardware requirements RAM: at least 4 GB Disk space: at least 3 GB CPU: 1.8 GHz, 4 cores or more PhantomJS is still a web browser, albeit headless. Thus, building it from source takes a long time (mainly d
PhantomJS - Scriptable Headless Browser
Important: PhantomJS development is suspended until further notice (more details). PhantomJS is a headless web browser scriptable with JavaScript. It runs on Windows, macOS, Linux, and FreeBSD. Using QtWebKit as the back-end, it offers fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG. The following simple script for PhantomJS loads Google homepag
Download PhantomJS
New to PhantomJS? Read and study the Quick Start guide. Windows Download phantomjs-2.1.1-windows.zip (17.4 MB) and extract (unzip) the content. The executable phantomjs.exe is ready to use. Note: For this static build, the binary is self-contained with no external dependency. It will run on a fresh install of Windows Vista or later versions. There is no requirement to install Qt, WebKit, or any ot
Ubuntu に PhantomJS を入れる
Ubuntu Lucid (10.04) でビルドしたバイナリが http://phantomjs.org/download.html からダウンロードできます。 Lucid 以降のディストリビューションであれば動くそうです。 このバイナリのインストールにあたっては、Qt, WebKit など他のライブラリのインストールは必要ありません。 Lucid より古いシステムでは、ソースからビルドする必要があります。 phantomjs-1.7.0-source.zip ビルド方法 $ cd /usr/local/share $ sudo cp ~/Download/phantomjs-1.7.0-linux-x86_64.tar.bz2 . $ sudo tar -xjvf phantomjs-1.7.0-linux-x86_64.tar.bz2 $ sudo rm phantomjs-1.7.
Heroku上でスクリーンショットサーバを動かす - snippets from shinichitomita’s journal
前回、PhantomJSのbuildpackを作成したので、Heroku上でPhantomJSのプロセスを自由に稼働させることができるようになった。 PhantomJSはGUI環境のない(Headless) WebKitブラウザであるため、ブラウザ上のJavaScriptの単体テストor結合テストをサーバ上で走らせて、継続的インテグレーションに組み込むなどの利用方法もあるだろう。これも興味深いトピックではあるけど、ここでは触れない。 今回はPhantomJSの画面レンダリングの機能を使って、スクリーンショットサーバをHeroku上に構築する。 構成と処理フロー PhantomJSにはwebサーバ機能も含まれており、単独でHTTPサーバとしてリクエストを受け取る事もできるが、実サービスで利用するようなシロモノではない。そのためクライアントからリクエストを受け取るNode.jsのサーバを別に立
Phantom.JS 練習 メモ - hitode909の日記
昨日ちょっとPhantom.JSの練習した． Phantom.JS PhantomJS: Headless WebKit with JavaScript API PhantomJS is a headless WebKit with JavaScript API. インストール brew install phantomjsQt4が必要でインストールに時間かかる 実行 phantomjs a.js とか phantomjs a.coffee で実行 CoffeeScript実行できる ただし，コンパイルできないときにどこが悪いかとかは教えてくれない phantom グローバルにphantomというオブジェクトがある phantom.exitとか phantom.argsとか console.log console.logでコンソールに出力できる ページ開く WebPage#openでページ開
[phantomjs] コマンドラインからGoogle検索の全結果をスクレイピングしてCSV形式に保存するやつ - laiso
我が社のBing検索エンジンで参考にしようと作成した。 わりとうごく。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 /*** # USAGE** phantomjs ./google_search.js 'javascript'** phantomjs ./google_search.js 'Steven Jobs' > result.csv**/ var BASE_URL = 'http://www.google.co.jp/search?'; phantom.userAgent = 'google_search.js / https://gist.github.com/850908'; if (phantom.state.length
phantomjs+jQueryを使ってDPZからべつやくれい先生のページだけスクレイピングする | uuu
デイリーポータルZからべつやくさんの記事だけ抽出したい！ という要望を目にしたのでphantomjsでスクレイピングしました。 インストール http://code.google.com/p/phantomjs/wiki/BuildInstructions うちではUbuntu 10.04を使っていますが、phantomjsのバージョンが1.0だとmakeの時点でエラーが出るのでgit cloneして最新版を使いましょう。 1.0と最新版で文字エンコーディングの扱いとかも変わってたりします。 $ git clone git://github.com/ariya/phantomjs.git && cd phantomjs $ sudo apt-get install pyqt-tools libqt4-dev python-qt4-dev python-qt4 $ qmake-qt4 &&
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Headless Testing
Using the command line
GitHub - amir20/phantomjs-node: PhantomJS integration module for NodeJS
Home
Home
Quick Start
