Puppeteerが原理主義すぎるのでラッパーモジュールを育てている話 - Qiita
これで<div>bar</div>が帰ってくるかと思いきや、これは期待通りに動きません。 実際には<div style="visibility:hidden">foo</div>がvisibleになるのを待ってしまってタイムアウトします。 どういうことか？ 上記はPuppeteerの仕様です。これをバグとしてPRを投げた偉い人がいるんですが、Puppeteerの作者に却下されています。 fix: waitForSelector with visible:true causes timeout by razorman8669 · Pull Request #4373 · GoogleChrome/puppeteer 作者によれば、「CSSセレクタとオプションの組み合わせで要素を指定するのはよくない、排他的に要素を限定するようなCSSセレクタを書くべきだ、PuppeteerのAPIはそういうポ
typescriptでpuppeteerを使う - odan-worklog
$ yarn add -D @types/node typescript ts-node @types/puppeteer
FirebaseのCloud Functionでpuppeteerを動かす解説 - Kesinの知見置き場
先日、GAEとCloud Functionsでpuppeteerを動かすコードを紹介しているエントリが公開されました。 cloud.google.com puppeteer、というかChromeを動かすためには実は様々な依存ライブラリをインストールする必要があるのですが、Cloud Functionでは環境そのもののカスタマイズはできなかったので今まではpuppeteerを動かすことはできませんでした。 GAEとCloud Functionでnodejs 8が使えるようになったのと同時に、実行環境のベースのイメージが新しくなった（Ubuntu 18.04とのこと）のでpuppeteerが使えるようになったようです。 ちょっと試してみる分には、先程の記事のソースコードがgithubにアップされているので自分のGCPのプロジェクトにデプロイすることで動くことが確認できると思います。 ただFir
Puppeteer・起動オプション
Puppeteerの起動オプションについて Puppeteer puppeteer.launch ウィンドウサイズやヘッドレスなどのオプションは、launchメソッドで指定できます。 例 CentOS 7で、Chrominumをヘッドレスで起動する場合のサンプル。 const puppeteer = require('puppeteer'); const options = { headless: true, defaultViewport: null, args: [ '--no-sandbox', '--window-size=1000,800' ] }; (async () => { const browser = await puppeteer.launch(options); ... })(); 例 Windows10で、puppeteer用でない通常インストールのChromeを
Typings issues with version 8.0.0 - Cannot find name 'Lowercase' · Issue #6934 · puppeteer/puppeteer
PuppeteerをTypeScriptで書くときはtsconfigに気をつけたい、というお話
TypeScriptでPuppeteerを書くときにハマったことと解決策の記録。 先に結論 TypeScriptでPuppeteerを書くためには、まずtsconfigに以下設定が必要
Google Cloud Functions と Puppeteer で動的ウェブページを実行してコンテンツを返す API を作る - Qiita
Google Cloud Functions と Puppeteer で動的ウェブページを実行してコンテンツを返す API を作るNode.jscloudfunctionspuppeteerGoogleCloud はじめに ウェブページをスクレイピングして遊んでいたところ JavaScript を使った動的なページが出てきて困ったので、Google Cloud Functions と Puppetter を使ってウェブページのダウンロードと JavaScript の実行をしてコンテンツを返してくれる API を作りました。 できたもの https://github.com/nirasan/cloud-functions-dynamic-page-renderer つかいかた # ダウンロード git clone https://github.com/nirasan/cloud-functi
Playwrightも知らないで開発してる君たちへ - Qiita
重要なのはここで、 pw.webkit.launch() とするか pw.chromium.launch() とするかで 起動するブラウザが変わるだけです。 デバイスの設定も簡単 pw.devices に主な端末のviewport, UAの情報がまとめられています。 デバイスのリスト： https://github.com/microsoft/playwright/blob/master/src/deviceDescriptors.ts const pw = require('playwright'); // iPhone11のデバイス情報を取得 const iPhone11 = pw.devices['iPhone 11 Pro']; (async () => { const browser = await pw.webkit.launch(); const context = awai
Puppeteerが遅いなと感じたときの高速化Tips - Qiita
先日、毎朝8時に私の住んでいる地域の洗濯指数をSlackで送ってくれるプログラムを作りました。天気予報とか自分で見ないもので、、今日洗濯しようかどうか決めるのに役立っています。 仕組みとしては、GCPのCloud Scheduler→Pub/Sub→FirebaseのCloud Functionsの流れでPuppeteerでtenki.jpの特定のページをスクレイピングしています。Puppeteerいいですよねぇ。 ただ、最初に実装したときはPuppeteerの速度があまりにも遅すぎて、タイムアウト(30秒以上)が発生してしまう状況でした。スクレイピングしているのは1つのページだけなので、どう考えてもおかしかったです。(というかそもそも、Puppeteerのlaunchの時点でかなり時間がかかってるっぽかった)調べてみたところ、同じことを感じてる人は他にもいるようで、公式にもissueが立
Puppeteerの上位互換？自動テストにPlaywrightを使ってみる - Qiita
はじめに みなさんはE2Eテストを行う時にはライブラリに何を使用していますでしょうか？ 僕は普段Google謹製のPuppeteerを利用しているのですが、ちょっと前に話題になってから常に動向を気にしていたPlaywrightが最近バージョン1.0.0のメジャーリリースが行われたということもあって、「これは実際に触ってみたい！」と思い触ってみましたので、備忘録としてここに記そうと思います。 Playwrightとは PlaywrightとはMicrosoftが提供しているChrome、Safari、Firefoxに対して、CLI上でヘッドレスブラウザを操作できるNode.jsのライブラリです。 かなり簡単な記述で対象ページに対してテストを実施することができます。 後述するコードを見てもらえるとすぐわかるかもしれませんがPuppeteerを知っている人はほぼ同じなので読みやすいかもしれません
Puppeteerを使ってWebサイトの自動テストツールを作ってみた - 虎の穴開発室ブログ
こんにちは。虎の穴ラボのH.Hです。 今回はWebサービスの自動テストを試作したので、作ったアプリケーションについて書こうと思います。 なぜ作ろうと思ったか 虎の穴ラボでは、とらのあな通販やFantiaなど多くのWebサービスの開発を行っています。 日々様々な機能の追加や変更が行われています。 変更した機能は関連する既存機能を含めてテストを行い、本番の環境にリリースしていきます。 既存部分のテストに関して、簡略化できないかと考え自動でテストを行うツールを作ろうと思いました。 そもそもWebサービスのテストはなぜ簡略化が必要か テストは機能追加をしていくと、次に挙げる問題のためにテストにかける時間が増えていきます。 【問題１】機能追加を行う毎に確認項目が増える 何かの検索を行うサービスを考えると、１つの検索機能は様々な条件を元に該当するデータを取得します。 何か変更があれば既存の検索結果に影
【Node.js】puppeteer基本情報＆逆引き - Qiita
既定では、puppeteerをインストールすると、最新バージョンのChromiumも一緒にダウンロードされる。ダウンロードさせたくない場合は、環境変数で設定を変更するか、puppeteer-coreの使用を検討すると良い。 puppeteer-coreを使う v1.7.0から追加されたパッケージ。Chromiumのダウンロードを行わない。代わりに既にPCにあるChrome/Chromiumなどを使用する。 大体の場合はpuppeteerの方を使えば良いが、スクリプトを動かす環境内にChomeがあり、そちらを使えば良いやと思う場合などは、puppeteer-coreを使う方が容量を取らなくて良さそう。 ブラウザの起動と終了 // headless : ブラウザを画面に表示するかどうかのフラグ。既定値はtrueで非表示となる。 // executablePath : 同梱されているChromi
Puppeteerで複数のiframeをパースしようとしたときに詰まったこと - Qiita
環境 MacBook Pro High Sierra (v10.13.3) node v9.6.1 Typescript v2.7.2 Puppeteer v1.1.1 概要 puppeteerでiframeを取得したいときは Page#frames を使う コード import {launch} from 'puppeteer'; (async () => { const browser = await launch(); const page = await browser.newPage(); try { await page.goto('file:///tmp/test.html'); let frames = page.frames(); // frames[0]は今いるページを指しているため、ページ内のiframeを探す場合インデックスは1以降になる for (let i =
puppeteer-coreとMacにインストール済みのChromeを使って自動操作 - Qiita
いわゆる「ぐぐれかす」をPuppeteerで作って練習したときのメモ インストール済みのChrome for Macを使うには？ puppeteer標準でChromiumブラウザがくっついてくるが、Chromiumダウンロードめっちゃ時間がかかるので、とりあえず手元にChromeをインストール済みなら、それを使って自動操作をしたい。 puppeteer-core を使って、手持ちのChromeのゲストセッションを開くには？と調べたら、issueで質問 してる人がいて、「公式Docに書いてるでしょ」って書いてたｗ Macだったら const launchChrome = puppeteer.launch({ // MacにインストールされているChromeを使う。 executablePath: '/Applications/Google Chrome.app/Contents/MacOS/
puppeteer で Chrome の Headless を利用して、PDF を作成する
こんにちは、エンジニアの上田です。 Chrome の Headless で、スクレイピングで特定の URL のスクリーンショットやファイルのダウンロードを試した方がいるのではないでしょうか？ 今回は、Chrome の Headless を操作する Node ライブラリの puppeteer で、ローカルに SVG ファイルを置いて、PDF ファイルを作成する例を紹介したいと思います。 puppeteer 自体の説明は、 GitHub – GoogleChrome/puppeteer: Headless Chrome Node API をご参考ください。 環境構築 この記事では、Ubuntu Server 16 をセットアップ直後からの内容になります。 ※Amazon Linux でも試してみましたが、Google Chrome が yum では入らなかったため、Ubuntu Server
Puppeteer をDockerコンテナで利用する - Qiita
Webサイトのスクリーンショットを取るCLIツールsite-checkerを作った。 インストール方法を書いていて、「Node.jsのvX.X.X以上をインストールして下さい」というのも今日的ではないなぁと感じて、実行環境のバージョンを気にせず利用できるようDockerイメージも用意した。その際、ちょっと引っかかったことを書く。 利用バージョン Puppeteer v0.10.2 Node.js v8.4.0 の公式Dockerイメージ Dockerfileの作成 最終的に作成したDockerfileは次の通り。 FROM node:8.4 MAINTAINER HeRoMo RUN echo 'deb http://ftp.jp.debian.org/debian jessie-backports main' >> /etc/apt/sources.list RUN set -ex; \
Puppeteerでファイルダウンロード - Qiita
const downloadPath = './download'; await page._client.send('Page.setDownloadBehavior', { behavior : 'allow', downloadPath: downloadPath }); await page.goto('https://www.google.co.jp/chrome/', {waitUntil: 'networkidle0'}); await page.waitForSelector('#js-download-hero'); await page.click('#js-download-hero'); await page.click('#js-accept-install'); let filename = await ((async () => { let filename;
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヘッドレス Chrome Node API 「Puppeteer」 - Qiita
pg-study-book.com
Puppeteerメモ :: Chrome | Refills
