PuppeteerによるWebクローリング 基礎編 | 株式会社ソリューションウェアあけましておめでとうございます。 今日で入社から1年になりましたシニアエンジニアの佐藤寛之です。 最近公私ともにWebクローリングを扱う機会が増えてきました。世の中のWebシステムには人間が使うことは想定していても、プログラムによる処理を想定せずAPIはおろかデータエクスポート機能すらないものも珍しくありません。そんなシステムからデータを収集したり他システムと連携させたりするのに、ブラウザの自動操作によるクローリングは非常に便利です。 クローリングといえば以前はPhantomJSが主流でしたが、PhantomJSはすでにメンテナンスが終了しており、現在はPuppeteerが広く使われています。PuppeteerはGoogle Chromeのヘッドレスモードを利用するNodeのライブラリで、Googleがメンテナであるため最新のChromeの機能に追随しているのが大きなアドバンテージと言えま
