Pythonでwebアプリケーション開発③ ~SeleniumとPhantomJSでブラウザ操作~ - 仮想サーファーの日常
こんばんは！ 今日はPythonとSeleniumとPhantomJSを使って、普段の作業を自動化できないかな？と思っていろいろ試した結果をご紹介します！ 事前の環境構築が終わっていない方は、こちらを参考にPythonを実行できる環境を用意しておいてください！ www.virtual-surfer.com SeleniumとPhantomJSのインストール まずは、SeleniumとPhantomJSをpipを使ってインストールしていきます。 $ pip install selenium $ brew install phantomjs インストールが成功しているか確認するために、以下のコマンドを打ってバージョンが表示されるかを確認します。 $ pip list | grep selenium $ phantomjs --version 上のコマンドは、インストール済みの「selenium
Python+Selenium+Phantom.js+Beautifulsoupでスクレイピングする - ひよこになりたい
※【2018/04/17追記】 Phantom.jsはメンテナンスが終了したようです。今後はGoogle Chromeを使用してJavascriptの処理を行っていくことになります。以下の記事で解説していますので合わせてご覧ください。 zipsan.hatenablog.jp 【追記終わり】 最近スクレイピングのスクリプト書いて遊んでいるのでそれについてのメモがてらに。 Pythonでスクレイピングする方法は多々あるみたいなんですが，個人的に一番使いやすかった（慣れ？）のがこの組み合わせでした。 以前Pythonのurllib.request＋Beautifulsoupでレスポンスhtmlの解析をして次々とたどっていくようなスクリプトを書いていたんですが、これだとJavascriptで追加されたエレメントは受け取れなかったり、リダイレクト処理がめっちゃ大変だったり色々と面倒でしたが今回Se
PhantomJS入門 CasperJSを使う - Murayama blog.
ここんとこのブログの題材として２週間ほどPhantomJSを触ってみましたが、これけっこう難しいです。JavaScript独特のイベント処理や、WebKitの仕組みうんぬんで、リンクをクリックするのにもハマったりします。 何かいい方法あるはず、、と調べてたら、やっぱりあるんですね。 CasperJS CasperJS is a navigation scripting & testing utility for PhantomJS, written in Javascript http://casperjs.org/ CasperJSは、JavaScriptで実装されたPhantomJSのユーティリティです。ざっくり以下のことができます。 ブラウザのナビゲーションステップを順に定義できる フォーム入力 リンクのクリック ページのスクリーンショット（画面の一部分だけもOK） リモートDOMの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
