
エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【個人開発】AWSでサーバーレスなWebスクレイピングアプリを作ってみた - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【個人開発】AWSでサーバーレスなWebスクレイピングアプリを作ってみた - Qiita
個人的に Web サイトを定期的に解析するアプリが必要になったので、AWS を活用してサーバーレスな Web ... 個人的に Web サイトを定期的に解析するアプリが必要になったので、AWS を活用してサーバーレスな Web スクレイピングアプリを構築してみました。 せっかく作ったので、このアプリのアーキテクチャと構築時のポイントを初心者にもわかりやすいように解説してみようと思います。 アーキテクチャ アーキテクチャとしては EventBridge, Lambda, DynamoDB, SNS を用いたシンプルな サーバーレスアーキテクチャ です。 解説 ここからは AWS サービス毎に構築時のポイントを解説していきます。 1. Lambda Web スクレイピングツール(ライブラリ)として Beautiful Soup を使うため、Lambda ランタイムは Python を選びました。 処理の流れは以下のとおりです。 Requests ライブラリ を用いて対象のWebサイトからコンテンツを取得する