スクレーピング用のクローラー作成 - Qiita概要 機械学習用にコンテンツデータを集めないと行けなくて、毎回クローラー書くの面倒だったので、汎用的なクローラーを開発 構成 仕組み LinkCrawlerで起点のURLからリンクを辿り対象のURL収集しDBに保存、 ContentsCrawlerで収集したURLを取得しコンテンツの取得を行ってDBに保存する AWS アプリケーション ・puppeteer ・node.js DataBase CREATE TABLE `site` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `title` varchar(255) NOT NULL, `url` varchar(300) NOT NULL, `created_at` datetime NOT NULL, `updated_at` datetime NOT NULL, PRIMARY K
