ScrapyCloud + DynamoDBでサーバーレス・スクレイピング - Qiita

はじめに スクレイピングの本を読んで何かしたいなーと思ったので、その成果とやったことをまとめました。 主にはScrapyCloudの設定を書いています。 コード https://github.com/mishan88/trpgLetter やりたかったこと 某アナログゲームの"公式"の更新情報が知りたい！（Twitterとかはあるけど、シート類は公式ページにしかないので） RSSすらないサイトも多いのでスクレイピングしよう 最近流行りのサーバーレスで動かしたい インスタンスを24時間動かすのはコストがかかるので 全体概要 クローリング・スクレイピング ： Scrapy + Scrapy Cloud DB : DynamoDB TODO: DynamoDBの更新情報をLambdaで受け取り、どこかに投稿 Oauthの認証周りが理解できていないので時間がかかりそう 手順 Scrapyをローカル

[rokujyouhitoma]

??? >“Twitterだけで情報発信とかやめてください”

[kent-where-the-light-is]

“ScrapyCloudへのログイン・デプロイ Scrapyプロジェクトのフォルダに移動します shub loginでログインを行う APIキーを聞かれるので、https://app.scrapinghub.com/account/apikey からAPIキーを取得する shub deployでデプロイを行う Python3 を指