Puppeteerが強い💪💪💪 - ダメ人間オンライン

github.com ヘッドレスChromeでスクレイピングが簡単にできる時代がきました。 スクロールしたら追加でコンテンツを読み込んで〜みたいなページをスクレイピングしたい機運がちょうど高まってたのでPuppeteer使ってみたんですがめっちゃ簡単に実現できて完全に最高だった。 ローカル(mac)でもサーバー(CentOS8)でも動かすの楽だったし環境によって困るみたいなこともなかった。 CentOS6で動かすのは相当大変というかほぼ無理では？という感じなのでおとなしくCentOS7or8で楽に動かしましょう。他のOSは知りません。 インストールとか動かし方とかは調べたら大量に出てくるのでそちらを見るのがいいでしょう。 簡単なサンプルと注意点だけ載せておきます。 特定のwebサイトにアクセスしてちょっとだけスクロールしてからコンテンツ取得してログに出す。実際はDBに書き込むなりどこかにP