ログインが必要なページでもサクサクっとスクレイピングしちゃう「CasperJS」 | astronaughts.net
Titanium 以外のこと書くの久しぶり ども、最近 Titanium mobile と同じ釜の飯を食った仲レベルの仲良しっぷりを発揮している、ボクです。そんなボクですが先日初仕事となる ChatWork のバージョンアップ版がリリースされました。いやはや、めでたい。 なのでいろいろ Titanium mobile について書きたいことがわんさかあるんですが、ここはちょっと寝かせておいて敢えて別の思考で行きたいと思います。 JavaScript でスクレイピングできちゃう超ハイカラなやつ iOS アプリ作ってて TestFlight 使ってるんですが API が用意されてなくてわざわざ Web サイトにログを見に行かないといけなく、なんかイイ方法ないかなと思ってスクレイピングを考えていたんですが、その中でこいつと出会いました。 CasperJS - http://casperjs.org
Node.jsでうごくPhantomJSとCasperJSを使用したスクレイピング
Node.jsでうごくPhantomJSとCasperJSを使用したスクレイピング — Presentation Transcript Node.js でうごくPhantomJS とCasperJS を使用したスクレイピング 2012/11/02 Miu Kobayashi @miua 自己紹介 小林未宇 @miua http://miukoba.net• 株式会社ジーニーという会社で エンジニアをやっています。• Java 0.5年、ASP.NET 4年、PHP 0.5年• Node.jsは触って2週間くらいなので、 間違ってたらどんどん指摘して下さい。 今日の概要• サーバーでJavascript動かせるなら、最近 増えてきたリッチなWebサイトをわざわざ DOMエミュレートなんかしなくても、実 際にコマンドラインとかプログラムからブ ラウザ動かしちゃえば、Ajaxとかを多用し ている
PhantomJS + Selenium::Remote::Driver でスクレイピングをこころみる - tokuhirom's blog
PhantomJS といえば、WebKit を headless でうごかせて便利なやつですが、PhantomJS 1.8 から Ghost Driver がくみこまれるようになりました。 わかる人むけにかくと「JSONWire Protocol をサポートする httpd が phantomjs にくみこまれた」ということです。 GhostDriver は WebDriver Wire Protocol の1実装です。で、そのクライアントライブラリとして Selenium::Remote::Driver が CPAN にあがっていますから、これをつかって簡単に phantomjs とやりとりができます。 Selenium::Remote::Driver という名前のとおり、Selenium もつかえますんで、selenium をつかって、対応しているブラウザでのテストもできるのがいいかん
GhostDriverでWebアプリケーションのテストを高速化する - CODESCRIBBLE
Seleniumを使ったテストは遅いという話をよく聞きます。理由として考えられるのは以下の3つです。 テスト対象のWebアプリケーションが遅いため 遅いテストを書いているため 実際にWebブラウザを動かしているため 1つ目と2つ目は、環境やコードの書き方を変えることで改善可能です。しかし、3つ目はどうでしょうか。実際のブラウザを高速化することなど、そのブラウザの開発者でもない限り不可能です。となると、できることは、可能な限り高速なブラウザを選択することです。 PhantomJSはヘッドレスブラウザです。ヘッドレスブラウザというのはGUIのないブラウザのことで、GUIの描画処理を行わない分、通常のブラウザに比べて高速に動作するという特徴があります。そのため、時間が掛かりがちなWebアプリケーションのGUIテストを高速化するためのソリューションとして注目されています。また、マルチプラットフォー
mochaとphantomJSとtravis-ciでフロントエンドJavaScriptのテスト - Webtech Walker
東京Node学園祭2012 アドベントカレンダーの9日目です。Node.jsとほとんど関係ないうえに内容がけっこう薄い感じなった気がするんですけど気にせずいこうと思います。 フロントエンドのJavaScriptをテストするとき最近はいつもmochaを使ってるんですが、やはりJenkinsとかtravis-ciを使って自動テストもしたいと思って試してみました。 hokaccha/mocha-phantom-travis-test ここではよくあるjQueryで画像のロールオーバーをするというプラグインを作ってそのライブラリに対してテストを書いています。ソースコードはこんな感じです。 $.fn.rollover = function() { return this.each(function() { var $img = $(this); var src = $img.attr('src');
JSXをPhantomJSで動かしてみる - Islands in the byte stream (legacy)
遅くなりましたが、AltJS Advent Calendarの7日目です。 PhantomJSというのは、コマンドラインで使えるJavaScript実行環境です。Mac+Homebrewだと brew install phantomjs でインストールできます。 さて、まずは以下のようなJavaScript source codeを用意してみましょう。通常のJavaScriptと違うのは、 phantom.exit() を実行しないとスクリプトが終了しないことです。 // hello-phantom.js console.log("Hello, world!"); phantom.exit(); 実行するにはphantomjs(1)にファイル名を与えて起動するだけです。 $ phantomjs hello-phatntom.js Hello, world! これだけみると単なるJavaSc
PhantomJS - Scriptable Headless Browser
Important: PhantomJS development is suspended until further notice (more details). PhantomJS is a headless web browser scriptable with JavaScript. It runs on Windows, macOS, Linux, and FreeBSD. Using QtWebKit as the back-end, it offers fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG. The following simple script for PhantomJS loads Google homepag
phantomjs を Perl からつかえる Wight をためした記録。 - tokuhirom's blog
YAPC で motemen さんが発表していた Wight をためしたのでそのメモ。 まだ開発途中なかんじなのでドキュメントなどは揃っていないが、ひととおりのメソッドは用意されている、といった印象です。しかしいくつかハマりどころもあるのでメモしておきます。 背景として、テストしたいとかではなく Crawler とかを Wight つかって書こうとしてみているという話です。 Wight::Node のドキュメントがないドキュメントないのはともかくメソッドの一覧もないのはきついので、pull-req をおくった。 https://github.com/motemen/Wight/pull/4 おくったあとできづいたけど Wight.pm の方にちょっとかいてあった。。でも Wight/Node.pm の方にかいてあるとありがたいです。see NODE METHODS section in W
Reveal.jsのスクリーンショットをPhantomJSでガンガン撮る
Gistぺたり 短いながら、phantomjsの便利なAPIが詰まってたので貼ってみた。 % phantomjs shot.js Reveal.jsって？ reveal.js - The HTML Presentation Framework いわゆるHTMLスライドのフレームワークです。最初からある程度かっこよく作られていて、そのままでも十分使えると思います。APIもちゃんと整備されているので、コントロールを追加することもできます。 複数のテーマが用意されている 複数のトランジションが用意されている Markdownで書ける（data-markdownを付与したsectionのみ） nodeでKeynoteみたいなスライドウインドウ＋スピーカーノートウインドウの連携ができる などなど。今用意している最中のスライドでは、これを使ってみています。 なんでスクリーンショット？ 普通にPDFで出
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
PhantomJS で HTML のスライドを PDF にし SlideShare にあげる方法 - Block Rockin’ Codes
本文 最近は HTML 形式のプレゼンテーションツールも多くなってきました。 しかし、そうしたツールで作ったスライドはそのままでは SlideShare にあげることが出来ません。 もちろん HTML なのでサーバに上げて URL を共有することもできますが、 やはり、「終わったら SlideShare で共有」ってのは割と恒例になってるし、一元管理できるし、色々便利です。 方法としては、 HTML を PDF とかに直せれば良いのですが、 「見た目そのまま」で PDF 化するのは結構難しいです。 一番実直な方法は一枚づつスクリーンキャプチャを取る方法ですが、面倒です。 自分も色々試したんですが、なかなかうまくいかず。 しかし、 @t_wada さんが同じことに取り組んでおり、ヒントをもらったところ、成功したので紹介します。 今回使った方法は PhantomJS を使ってキャプチャ取得を自
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Using the command line