ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita

一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい

[mysticatea]

/deep/ は古い非標準のクエリで、Chrome 60 で削除されますよ

[daruyanagi]

Shadow DOM のクエリセレクタ知らなかった

[qtamaki]

「ヘッドレス」というのは「画面を表示しない」という意味だと思っていたが違ったか？

[sky-y]

ついに、JSでゴリゴリに散らかされたDOMを直接スクレイピングできる時代が来たようだ…

[OkadaHiroshi]

これは良さそう、それそろ phantomjs を捨ててこっちに移行するか。

[fashi]

有用そうなツールだが最近のフレームワーク使っているサイトはツール使うだけでもいろいろ知見が要るようだな

[InoHiro]

最近知りたかったやつだ

[uunfo]

よさそう

[berlysia]

言葉の定義が怪しいけどやれることは有用な記事。気が向いたら修正送るか

[psfactory]

ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita

[bleu-bleut]

ChromyはNodeJSからChromeブラウザを操作するためのライブラリ

[stibbar]

https://vaaaaaanquish.hatenablog.com/entry/2017/06/25/202924

[tolkine9999h]

これ、面白そう。

[kvx]

インストールできなかった・・・

[Dai_Kamijo]

“ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita” — Hiroshi Toyama (@toyama0919) July 4, 2017 from Twitter https://twitter.com/Dai_Kamijo July 04, 2017 at 02:11PM via IFTTT

[RabbitBit]

Javascriptの比重が高いサイトへのスクレイピング。

[hiroomi]

”ブラウザがレンダリングした結果を、実際のブラウザのAPIを使って解析すれば良いのです。”

[nedobaru]

スクレイピング

[huruyosi]

スクレイピング

[lbtmplz]

ちょっとやってみようかなぁ…

[tettekete37564]

やっぱそういう使い方出来るんだ

[khtokage]

SeleniumでHeadless使おうと思いながら忘れてた。Chromyかぁ。

[vvakame]

結構整ってきてるんだなぁ

[daiiz]

、