今更Webスクレイピングしてみる(Node.js + Puppeteer) - Qiita

はじめに この記事は 株式会社システムアイのAdvent Calendar 2023 の 14日目の記事です。 日々の業務効率化のためにWebスクレイピングを活用しようと思い、本記事を執筆することにしました。 Webスクレイピングを知らないメンバーがいたのでチーム内の共有も兼ねて。 環境について Windowsの方は必要に応じて読み替えてください。 mac OS 14.1.1 Node.js v18.18.0 npm 10.2.5 説明 ウェブスクレイピング（英: Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWのコンテンツを取得する。ウェブスクレイピングはユーザーが手動で行なうこともできるが、一般的にはボットやクロ