Python+Selenium+Phantom.js+Beautifulsoupでスクレイピングする - ひよこになりたい
※【2018/04/17追記】 Phantom.jsはメンテナンスが終了したようです。今後はGoogle Chromeを使用してJavascriptの処理を行っていくことになります。以下の記事で解説していますので合わせてご覧ください。 zipsan.hatenablog.jp 【追記終わり】 最近スクレイピングのスクリプト書いて遊んでいるのでそれについてのメモがてらに。 Pythonでスクレイピングする方法は多々あるみたいなんですが，個人的に一番使いやすかった（慣れ？）のがこの組み合わせでした。 以前Pythonのurllib.request＋Beautifulsoupでレスポンスhtmlの解析をして次々とたどっていくようなスクリプトを書いていたんですが、これだとJavascriptで追加されたエレメントは受け取れなかったり、リダイレクト処理がめっちゃ大変だったり色々と面倒でしたが今回Se
Ubuntu 14.04にPhantomJS 2.0をインストール - Yura YuLife
Ubuntu 14.04にPhantomJSをインストールする時の手順です。 動作環境 Ubuntu 14.04 PhantomJS 2.0 基本的には公式サイト(http://phantomjs.org/)の手順にのっとるだけ。 リポジトリのクローン $ git clone git://github.com/ariya/phantomjs.git ソースコードのコンパイル $ cd phantomjs $ git checkout 2.0 $ ./build.sh build.shはデフォルトで並列処理をしてくれるみたいなのですが、それでも10分くらいかかりました。 実行ファイルのコピー $ sudo cp bin/phantomjs /usr/local/bin/ 以上でインストールは完了です。 起動 あとはターミナルからでも、スクリプトからでも使えます。 $ phantomjs ph
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
