Python+Selenium+Phantom.js+Beautifulsoupでスクレイピングする - ひよこになりたい
※【2018/04/17追記】 Phantom.jsはメンテナンスが終了したようです。今後はGoogle Chromeを使用してJavascriptの処理を行っていくことになります。以下の記事で解説していますので合わせてご覧ください。 zipsan.hatenablog.jp 【追記終わり】 最近スクレイピングのスクリプト書いて遊んでいるのでそれについてのメモがてらに。 Pythonでスクレイピングする方法は多々あるみたいなんですが，個人的に一番使いやすかった（慣れ？）のがこの組み合わせでした。 以前Pythonのurllib.request＋Beautifulsoupでレスポンスhtmlの解析をして次々とたどっていくようなスクリプトを書いていたんですが、これだとJavascriptで追加されたエレメントは受け取れなかったり、リダイレクト処理がめっちゃ大変だったり色々と面倒でしたが今回Se
Capybara+PhantomJS+Nokogiriを利用してスクレイピング - プログラマでありたい
CapybaraとPhantomJS、Nokogiriを利用してのクローラー・スクレイピングの紹介です。 PhantomJSとは？ PhantomJSは、ヘッドレスブラウザと呼ばれるWebKitのエミュレータです。ヘッドレスブラウザとは、GUIではなくCUIから利用できるブラウザでプログラムから呼ばれます。UIのテストツールとしてSeleniumのようなサービスがあります。Seleniumはブラウザを直接操作するので、環境依存や動作が重いといった幾つかの問題点があります。そこでよく利用されるのがPhantomJSです。Seleniumに比べて、軽量というメリットがあります。RubyからPhantomJSを扱うライブラリとして、Poltergeistがあります。 Capybaraとは？ Capybaraは、WebシステムのUI層のテストをサポートするためのライブラリです。主にDSL機能とDr
Node.js × PhantomJS で何でもサクサクスクレイピングするよ！ - 凹みTips
はじめに 先日、PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips という記事を書きました。 前回は PhantomJS のみを用いてスクレイピングを行なっていましたが、スクレイピングした結果を使って色々やりたい！となると、Node.js の力を借りたくなってきます。単純に取得した HTML を利用するだけなら、PhantomJS の fs モジュールを使って HTML をファイルに書き出し、これを Node.js で読み取って…、なんてことをすれば可能ですが、何かしらの入力を受けて動的にページを遷移したい、となると厳しくなってきます。 そこで、本エントリでは PhantomJS を Node.js から使って色々出来るよ！ということを解説したいと思います。 利用するモジュール PhantomJS をラップした Node モジュールは沢山あります。試
PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな（ブラウザ画面のない）QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、３つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
まだ勤怠処理で消耗してるの？nightmareによる自動化のススメ - Qiita
こんにちは！ @kumabook です。 みなさん、サラリーマンしてますか？ 僕はサラリーマンしてます。 サラリーマンにとって避けて通れないものといえば... そう、勤怠処理ですね。 僕はこの勤怠処理が嫌いです。 会社に来たら、まず出勤処理をして、仕事が終わったら、工数をつけて退勤処理してって。 本当にめんどくさいですよね。めんどくさがって月末までサボろうものなら、待っているのは 申請hell。地獄です。半日くらい持ってかれます。 弊社では、最近まで勤怠ツールが独自のwindowsアプリベースのものだったのですが、 team-spirit というブラウザベースのサービスに変わりました。 それでwindowsアプリの頃より幾分マシになったのですが(それまでは普段macで勤怠処理の時だけwindowsマシンを立ち上げていた)、ブラウザベースになったとはいえGUIをぽちぽち弄るのには変わりません
Ubuntu 14.04にPhantomJS 2.0をインストール - Yura YuLife
Ubuntu 14.04にPhantomJSをインストールする時の手順です。 動作環境 Ubuntu 14.04 PhantomJS 2.0 基本的には公式サイト(http://phantomjs.org/)の手順にのっとるだけ。 リポジトリのクローン $ git clone git://github.com/ariya/phantomjs.git ソースコードのコンパイル $ cd phantomjs $ git checkout 2.0 $ ./build.sh build.shはデフォルトで並列処理をしてくれるみたいなのですが、それでも10分くらいかかりました。 実行ファイルのコピー $ sudo cp bin/phantomjs /usr/local/bin/ 以上でインストールは完了です。 起動 あとはターミナルからでも、スクリプトからでも使えます。 $ phantomjs ph
【連載】CasperJS でスクレイピング (1) - CasperJS の基本 - メモ用紙
人が操作するのではなくプログラムで Web ブラウザを操作する PhantomJS というツールがある。中身は WebKit。それをより簡単に使うためのツールが CasperJS である。 インストール方法 PhantomJS と CasperJS のふたつをインストールする。 Mac で Homebrew を使っている場合は次の一行で終了。 % brew install phantomjs casperjsWindows の場合は PhantomJS のダウンロードページ から phantomjs-1.9.7-windows.zip を、CasperJS から Download 1.1-beta3 (ZIP) を選択する。ダウンロードした ZIP ファイルを適当な場所に展開し、phantomjs.exe および casperjs.exe のあるディレクトリにパスを通す。 PhantomJ
『PhantomJSを使ったスマホサイトテストの自動化(前編)』
1 pixel｜サイバーエージェント公式クリエイターズブログ サイバーエージェントのクリエイターの取り組みを紹介するオフィシャルブログです。最新技術への挑戦やサービス誕生の裏話、勉強会やイベントのレポートなどCAクリエイターの情報が満載です。 みなさんこんにちは！ スマホ版Ameba担当の川口です。 ちょうど一年前、同じようにJavaScriptを使ったテスト手法について記事を書かせていただいたのですが、今回も懲りずにまた同じようなテーマで再登場いたしました。 JavaScriptのテスト手法 さて、スマホ版Amebaの全面リニューアルから早くも１年経ったのですが、今回はそんなスマホ版Amebaで日々自動テストツールとして活躍してもらっているPhantomJSを紹介させていただきます。 長い記事になるため、今回は前編・後編に分けて以下のような構成でお送りいたします。 ●前編 ・Phanto
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
