scrapy でクローラーを実装し、画像を収集してみる - QiitaAWS Rekognition を使う時にクローラーも使ってなんかできないかなと思い scrapy を利用してみました。とりあえず今回はドメインと画像収集のところまで。いかがわしいことには絶対利用しないでください 今回はスタートのページからどんどんリンクを辿り、ドメイン名のフォルダごとに、辿った時のページの画像を保存します。今度そのフォルダごとに画像を AWS Rekognition に投げて、そのドメインがどんなドメインなのかを画像から判別しようと考えています。 前提 scrapy 1.5.0 python3 scrapy インストール済み 参考サイト scrapy を用いてデータを収集し、mongoDB に投入する - Qiita ScrapyでWebサイトのタイトルとURLを再帰的に取得する - Qiita Spider のコード クローラーの肝となる部分です。参考サイトではCraw
