GhostbustersはSeleniumの塔に登るか？ - Qiita
こんにちは！ 皆さん映画見てますか！！ 映画ってほんとうに良いものですよね！！！ 私は昨年ついに、立川シネマシティの会員になってしまいました！！！！ 突然ですが映画の話を差し込みます ゴーストバスターズ という1984年の大ヒット映画があります。科学兵器で幽霊退治をする映画です。 最近になってあらためて観ますと、劇中の最終目的地となるビルが呪術的な構造をしていて純度の高いSelenium（セレン）を含んでいる、なんて感じの説明があってニヤリとするわけです。 Seleniumの構造体に巣食うPhantomを退治してしまうのね... というわけでこの記事ではSeleniumとPhantomJSの話をします。 PhantomJS!? 非推奨にしたはずでは... SeleniumとPhantomJSを組み合わせて何か作る類の技術記事は非常に多く、最近もまだまだこの構成での新しい記事がWeb上で書か
Node.js × PhantomJS で何でもサクサクスクレイピングするよ！ - 凹みTips
はじめに 先日、PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips という記事を書きました。 前回は PhantomJS のみを用いてスクレイピングを行なっていましたが、スクレイピングした結果を使って色々やりたい！となると、Node.js の力を借りたくなってきます。単純に取得した HTML を利用するだけなら、PhantomJS の fs モジュールを使って HTML をファイルに書き出し、これを Node.js で読み取って…、なんてことをすれば可能ですが、何かしらの入力を受けて動的にページを遷移したい、となると厳しくなってきます。 そこで、本エントリでは PhantomJS を Node.js から使って色々出来るよ！ということを解説したいと思います。 利用するモジュール PhantomJS をラップした Node モジュールは沢山あります。試
Heroku上でスクリーンショットサーバを動かす - snippets from shinichitomita’s journal
前回、PhantomJSのbuildpackを作成したので、Heroku上でPhantomJSのプロセスを自由に稼働させることができるようになった。 PhantomJSはGUI環境のない(Headless) WebKitブラウザであるため、ブラウザ上のJavaScriptの単体テストor結合テストをサーバ上で走らせて、継続的インテグレーションに組み込むなどの利用方法もあるだろう。これも興味深いトピックではあるけど、ここでは触れない。 今回はPhantomJSの画面レンダリングの機能を使って、スクリーンショットサーバをHeroku上に構築する。 構成と処理フロー PhantomJSにはwebサーバ機能も含まれており、単独でHTTPサーバとしてリクエストを受け取る事もできるが、実サービスで利用するようなシロモノではない。そのためクライアントからリクエストを受け取るNode.jsのサーバを別に立
PhantomJS入門 ページオートメーション - Murayama blog.
PhantomJSは、Webページのロード／操作が可能です。 Webページ上での様々な操作を自動化することができます。 DOMの操作 PhantomJSではDOMスクリプティングやCSSセレクタを使うことができます。 ブラウザで実行されているかのように振る舞います。 page = require("webpage").create() url = "http://www.httpuseragent.org" console.log "The default user agent is #{page.settings.userAgent}" page.settings.userAgent = "SpecialAgent" page.open url, (status)-> if status != "success" console.log "Unable to access network
橋本商会 » PhantomJSでwebページ内のJavaScriptを読む
Webページをスクレイピングしてる時、HTMLじゃなくてJavaScriptの変数をのぞきたい事が稀によくある。 インストール brew install phantomjs document.titleを取得 page_title.js var url = phantom.args[0] || 'http://shokai.org'; page = new WebPage(); page.open(url, function(stat){ if(!stat){ phantom.exit(); } else{ var title = page.evaluate(function(){ return document.title; }); console.log(title); phantom.exit(); } }); 実行 phantomjs page_title.js http://go
PhantomJSからCSS Lintを使う
CSS LintのCLIはNodeやRhinoから使うようになっているので、Windowsだとちゃんと動くようにするまで結構面倒です(勿論ちゃんと動かせるようにはなります)。また、僕の場合はそもそもCSS Lintしか必要としていないので、Nodeを入れるのはちょっと大げさな気もします。そこでPhantomJSからCSS Lintを使うスクリプトを書いてみました。 var fs = require("fs"), f = phantom.args[0], css = fs.read(f); if (phantom.injectJs("csslint.js")) { var i, r = CSSLint.verify(css), l = r.messages.length; if (l > 0) { for (i = 0; i < l; i++) { var e = r.messages[i]
phantomjs+jQueryを使ってDPZからべつやくれい先生のページだけスクレイピングする | uuu
デイリーポータルZからべつやくさんの記事だけ抽出したい！ という要望を目にしたのでphantomjsでスクレイピングしました。 インストール http://code.google.com/p/phantomjs/wiki/BuildInstructions うちではUbuntu 10.04を使っていますが、phantomjsのバージョンが1.0だとmakeの時点でエラーが出るのでgit cloneして最新版を使いましょう。 1.0と最新版で文字エンコーディングの扱いとかも変わってたりします。 $ git clone git://github.com/ariya/phantomjs.git && cd phantomjs $ sudo apt-get install pyqt-tools libqt4-dev python-qt4-dev python-qt4 $ qmake-qt4 &&
WebkitベースのJavaScriptコマンドラインツール「PhantomJS」
don’t code today what you can’t debug tomorrow: PhantomJS: minimalistic headless WebKit-based JavaScript-driven tool http://ariya.blogspot.com/2011/01/phantomjs-minimalistic-headless-webkit.html PhantomJSはJavaScriptファイルを実行できるQtWebkitベースのコマンドラインツール(ヘッドレスブラウザ)です。 PhantomJSの面白い所はDOMやCanvasなど他のコマンドラインツールで触れにくい部分もネイティブにアクセスできるため、リッチアプリケーションなどのテストツールとして活用できそうです。 phantomjs somescript.js [argument [argume
PhantomJS： 「最小限なheadlessのWebKitベースのJavaScriptツール」 - karasuyamatenguの日記
こりゃ面白い。http://code.google.com/p/phantomjs/ "PhantomJS is a minimalistic, headless, WebKit-based, JavaScript-driven tool" headless=スクリーンがない=コマンドと考えればいい。要はブラウザから画面と取り除いてJavaScriptによるスクリプティングを可能にしたコマンドツール。逆に言うとDOM+JavaScript+Networkingをコマンドにしたもの。 説明してもピンとこないだろうから実例を紹介する。http://code.google.com/p/phantomjs/wiki/QuickStart hello world hello.js console.log('Hello, world!'); phantom.exit();$ phantomjs hel
Big Sky :: phantomjsをwebkitgtk+で書いてみた。
最近phantomjsなんて物が出てきて結構便利そうなのでいろいろと遊んでます。 PhantomJS： 「最小限なheadlessのWebKitベースのJavaScriptツール」 - karasuyamatenguの日記 headless=スクリーンがない=コマンドと考えればいい。要はブラウザから画面と取り除いてJavaScriptによるスクリプティングを可能にしたコマンドツール。逆に言うとDOM+JavaScript+Networkingをコマンドにしたもの。... http://d.hatena.ne.jp/karasuyamatengu/20110126/1296066287 phantomjs - Project Hosting on Google Code PhantomJS is a minimalistic, headless, WebKit-based, JavaScri
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
phantomjs - Project Hosting on Google Code