Node.jsでフォルダ内の全HTMLをキャプチャし画像化 - Qiita
画像化するコード 画像化するにはphantomjsを利用します。メインの実行ファイルと、画像生成プロセスの2つコードを用意するのがポイントです。 main.js : メインの実行ファイル 非同期処理になるので、Promiseとか使っています。 // 定数宣言 (必要に応じて書き換えてください) const TARGET_FOLDER = './samples'; // キャプチャーしたいHTMLのフォルダー const OUTPUT_FOLDER = './imgs'; // 保存先のフォルダー const VIEWPORT_W = '1024'; // viewportの横幅(幅：単位px) const VIEWPORT_H = '768'; // viewportの高さ(幅：単位px) const IGNORE_LIST = ['.DS_Store', 'Thumbs.db', '.i
SpookyJSでadwordsとスポンサードサーチとYDNのレポートをダウンロード
GoogleもYahooも広告配信レポートを現在APIでダウンロードすることができません。Google AdwordsではAPIで簡易的にレポートを作成できますが、インプレッションシェアなどの指標を指定することが出来ず、中途半端です。 メールで作られたよと報告はされるのですが、どうせなら送ってほしいものですよね。 というわけで全部ダウンロードするスクリプトを書いたのですが、私のMac Book Airちゃんがぶっ壊れてタイムマシーンで2週間前に戻ってしまい、危機感を覚えたのでここにメモしておきます。作業途中的な感じですが、わたくしの記憶力が普通の人間と同じぐらいであれば1週間後には出来上がっていると思います。 ダウンロードスクリプト https://gist.github.com/tanshio/045c1e1193f97cfa5e05 使い方 要node.js、casperjs、spoo
AjaxなページもPhantomJS, CasperJS, SpookyJSでいい感じにクローリングできるようにしてSEOする
ajaxなページもクローラーに読ませたいですよね。 そこでPhantomJS, CasperJS, SpookyJSです。 簡単に説明するとこんな感じ casperJSをNodejsから使えるようにするやつ こういうことをしたい クローラーがアクセスしてきた時だけ、アクセスしたURLをSpookyJSサーバーに投げて、SpookyJSがそのURLにアクセスし、DOMを取得してからクローラーに返すってことをしたらよさそうです。 SpookyJSをインスコ SpookyJSはもちろんphantomJSとcasperJSに依存してるので、まずはこの２つをグローバルに入れる必要があります。 npm install phantomjs -g npm install casperjs -g 必ず -g オプション！ 次にプロジェクトのディレクトリで npm install spooky これしたら、O
PhantomJS入門 CasperJSを使う - Murayama blog.
ここんとこのブログの題材として２週間ほどPhantomJSを触ってみましたが、これけっこう難しいです。JavaScript独特のイベント処理や、WebKitの仕組みうんぬんで、リンクをクリックするのにもハマったりします。 何かいい方法あるはず、、と調べてたら、やっぱりあるんですね。 CasperJS CasperJS is a navigation scripting & testing utility for PhantomJS, written in Javascript http://casperjs.org/ CasperJSは、JavaScriptで実装されたPhantomJSのユーティリティです。ざっくり以下のことができます。 ブラウザのナビゲーションステップを順に定義できる フォーム入力 リンクのクリック ページのスクリーンショット（画面の一部分だけもOK） リモートDOMの
PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな（ブラウザ画面のない）QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、３つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
Node.js × PhantomJS で何でもサクサクスクレイピングするよ！ - 凹みTips
はじめに 先日、PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips という記事を書きました。 前回は PhantomJS のみを用いてスクレイピングを行なっていましたが、スクレイピングした結果を使って色々やりたい！となると、Node.js の力を借りたくなってきます。単純に取得した HTML を利用するだけなら、PhantomJS の fs モジュールを使って HTML をファイルに書き出し、これを Node.js で読み取って…、なんてことをすれば可能ですが、何かしらの入力を受けて動的にページを遷移したい、となると厳しくなってきます。 そこで、本エントリでは PhantomJS を Node.js から使って色々出来るよ！ということを解説したいと思います。 利用するモジュール PhantomJS をラップした Node モジュールは沢山あります。試
Capybara+PhantomJS+Nokogiriを利用してスクレイピング - プログラマでありたい
CapybaraとPhantomJS、Nokogiriを利用してのクローラー・スクレイピングの紹介です。 PhantomJSとは？ PhantomJSは、ヘッドレスブラウザと呼ばれるWebKitのエミュレータです。ヘッドレスブラウザとは、GUIではなくCUIから利用できるブラウザでプログラムから呼ばれます。UIのテストツールとしてSeleniumのようなサービスがあります。Seleniumはブラウザを直接操作するので、環境依存や動作が重いといった幾つかの問題点があります。そこでよく利用されるのがPhantomJSです。Seleniumに比べて、軽量というメリットがあります。RubyからPhantomJSを扱うライブラリとして、Poltergeistがあります。 Capybaraとは？ Capybaraは、WebシステムのUI層のテストをサポートするためのライブラリです。主にDSL機能とDr
Hubot にグラフを描かせてみた (PhantomJS + Chart.js => PNG 画像化) :: yulii.net
2014-11-01Hubot を使ってグラフ画像を生成するスクリプトを作ってみました。Heroku + PhantomJS + Chart.js で動きます。PhantomJS + Chart.js => PNG 画像化ざっくりと動作内容をまとめると子プロセスを生成し、PhantomJS を起動PhantomJS でHTML ドキュメント (canvas) を生成Chart.js を使って canvas 内でグラフを描画グラフのレンダリング完了後 (onAnimationComplete) に画像化/tmp ディレクトリにグラフ画像を保存 (Heroku の制約)robot.router を使って /tmp 内の画像URL を発行PhantomJS で処理しているスクリプトは module/phantomjs-script.coffee です。インストールnpm では配布していないので、
『PhantomJSを使ったスマホサイトテストの自動化(前編)』
1 pixel｜サイバーエージェント公式クリエイターズブログ サイバーエージェントのクリエイターの取り組みを紹介するオフィシャルブログです。最新技術への挑戦やサービス誕生の裏話、勉強会やイベントのレポートなどCAクリエイターの情報が満載です。 みなさんこんにちは！ スマホ版Ameba担当の川口です。 ちょうど一年前、同じようにJavaScriptを使ったテスト手法について記事を書かせていただいたのですが、今回も懲りずにまた同じようなテーマで再登場いたしました。 JavaScriptのテスト手法 さて、スマホ版Amebaの全面リニューアルから早くも１年経ったのですが、今回はそんなスマホ版Amebaで日々自動テストツールとして活躍してもらっているPhantomJSを紹介させていただきます。 長い記事になるため、今回は前編・後編に分けて以下のような構成でお送りいたします。 ●前編 ・Phanto
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Using the command line