Puppeteerで特定のドメインだけ通信する方法 - Qiita

発端 最近とあるスクレイピンングが失敗するようになったのでヘッドレスをfalseにして画面を確認してみました どうやら外部ソースの読み込みに時間がかかっており、そのせいで10秒のタイムアウトに引っかかっていた模様 今回の対象はHTMLをロードした時点で必要な情報は抜き出せる状態だったので、余計なドメインのリクエストを行わないようにしようと考えました 対処方法 元々画像のリクエストは行わないようにしていたので、特定ドメイン以外のリクエストも行わないような処理を追加しました ソースはこんな感じになります await page.setRequestInterception(true); page.on("request", request => { if (request.resourceType() === "image") { request.abort(); } else if (!req