puppeteerでの要素の取得方法 - Qiita
page.evaluate + (querySelector|querySelectorALL) page.$ page.$$ page.$eval page.$$eval とありますが、実際にそれらを使うためにどう書くかをまとめています。速度等は検証できていませんが、evalを使うのがそれぞれコードがシンプルになるので良いかと思います。 APIの動作の詳細はpuppeteerのAPIを参照ください。 https://pptr.dev/api/ #前提 以下のようなliの中にアンカータグが入っているページを取得することを想定しています。 <ul> <li><a href="some link">some HTML</a></li> <li><a href="some link">some HTML</a></li> <li><a href="some link">some HTML</a>
MEMO: PuppeteerでSPA(Single Page Application)を操作する時の留意点 - Qiita
問題点 PuppeteerによるWebテストの自動化を行うと、HTML等のWebページ遷移が発生しないSingle Page Application(SPA)が正常に動作しない場合があります。特にGithubのPuppeteerのREADME.mdにある使用例をそのまま流用するとハマる可能性があります。 例えば、以下のようにCSSセレクターが見つからないエラーだったり UnhandledPromiseRejectionWarning: Unhandled promise rejection (rejection id: 1): AssertionError [ERR_ASSERTION]: No node found for selector: ... 画面が遷移したにも関わらず以下のようにタイムアウトが発生してしまうエラーだったりします。 UnhandledPromiseRejectio
puppeteerでよく使うであろう処理の書き方 - Qiita
puppeteer https://github.com/GoogleChrome/puppeteer/releases puppeteerを触ってみて自分がよく使う書き方を載せたら これから始めてみようかなって人に需要あるんじゃないかと書いてみます Basic認証突破 const USERNAME = 'user'; const PASSWORD = 'passwd'; await page1.setExtraHTTPHeaders({ Authorization: `Basic ${new Buffer(`${USERNAME}:${PASSWORD}`).toString('base64')}` });
puppeteerでスクレイピング - Qiita
web上の情報を抽出するスクレイピング技術ですが、いままでphantomJSで行っていましたが、chromeがヘッドレスブラウザに対応したとのことで、そのnodeライブラリであるpuppeteerで実践してみました。 環境構築 とりあえずお試しということで、dockerで構築しました。 構成はnode.jsのdockerイメージにpuppeteerを追加するかたちです。 下記2サイトの手順を大幅に参考にさせていただきました。 Docker コンテナ上で Puppeteer を動かす Puppeteer をDockerコンテナで利用する ディレクトリ構成はこんな感じ。 / ├ app/ │ └ script/ │ └ app.js │ └ data/ ├ docker-compose.yml ├ Dockerfile └ Package.json FROM node:9.2.0 RUN a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
