CentOS7上でSeleniumからGoogle Chromeのヘッドレスモードを利用する - Qiita
Google Chrome 59より実装されたヘッドレスモード(--headless)を利用したSeleniumの環境をCentOS7上に構築する。 環境 CentOS 7.3 yum install epel-releaseをしておく。 Google Chrome 60以上 ChromeDriver 2.29 ChromeDriverのインストール EPELに登録されているバージョンが2.27なので、Downloads - Chrome Driver - WebDriver for Chromeよりダウンロードして展開する。 展開先はPATHが通っているとやりやすい。 wget https://chromedriver.storage.googleapis.com/2.29/chromedriver_linux64.zip unzip chromedriver_linux64.zip s
ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita
一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい
CentOS6.4 + Selenium の環境作成 - Qiita
firefox のインストール yum install firefox rvm と ruby-1.9.3 のインストール curl -L https://get.rvm.io | bash -s stable source /etc/profile.d/rvm.sh rvm install 1.9.3 仮想モニタのインストール（CUIだけでもFirefoxを使えるようにする） yum install xorg-x11-server-Xvfb 日本語フォントのインストール（入れないとスクリーンショットが文字化けしてしまう） yum groupinstall "Japanese Support" テスト環境の作成（ディレクトリ「selenium」はサンプルのため、任意のものでOK） mkdir selenium cd selenium bundle init Gemfileを編集し、headl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
