Node.jsでウェブスクレイピングする色々な方法 - Qiita

ウェブサイトの更新チェックをするのに、ブラウザを開くのが面倒でスクリプト化したいことがあります。 Node.jsを使って、スクリプト化します。 お題 国立大学法人 電気通信大学から最新の新着情報の日付を取得します。 ブラウザ上での動作 最初にブラウザでの情報取得方法を確認します。 開発コンソールで次のJavaScriptを実行します。 document.querySelector('.newsList').children[0].firstChild.textContent.trim() "2017年10月 5日"最新の新着情報の日付が取得できます。 解法 色々な実装方法があります。 環境 Nodo.js v8.6.0 MacBook Pro (Retina, 13-inch, Late 2013) 比較表 最初に簡単な比較を載せます。 ソースコードは後半にあります。 ヘッドレスブラウザ

[kazuhi_ra]

ありがたい

[bleu-bleut]

Headless Chromeとpuppeteerでスクレイプ。その他スクレイプで使えるnodeパッケージが多数。

[Cherenkov]

スクレイピング request cheerio jQuery HTMLパーサ parser

[zakinco]

へー