はてなブックマーク

個人的に Web サイトを定期的に解析するアプリが必要になったので、AWS を活用してサーバーレスな Web スクレイピングアプリを構築してみました。 せっかく作ったので、このアプリのアーキテクチャと構築時のポイントを初心者にもわかりやすいように解説してみようと思います。 アーキテクチャ アーキテクチャとしては EventBridge, Lambda, DynamoDB, SNS を用いたシンプルな サーバーレスアーキテクチャ です。 解説 ここからは AWS サービス毎に構築時のポイントを解説していきます。 1. Lambda Web スクレイピングツール（ライブラリ）として Beautiful Soup を使うため、Lambda ランタイムは Python を選びました。 処理の流れは以下のとおりです。 Requests ライブラリ を用いて対象のWebサイトからコンテンツを取得する

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2024年3月25日更新 SAP on AWS認定試験は2024年4月29日に廃止されることがAWS公式から発表されています。 つまり、本記事も2024年4月29日にはお役御免となるわけですが、勉強方法という観点ではSAP on AWS認定試験に限らず有効だと思うので、汎用的な内容とした“時間がないけどAWS認定試験に合格したい人に贈る効率の良い勉強法”という記事を投稿しました。 よろしければ、こちらの記事もご覧ください。 まえがき つい先日、 AWS Certified SAP on AWS - Specialty (PAS-C01)

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 先日、AWS認定 機械学習 - 専門知識 (AWS Certified Machine Learning - Specialty) に合格し、AWS認定試験をすべて制覇することができました。11冠達成！ この試験で特に重要なのがAWSの機械学習サービスである 「Amazon SageMaker」 です。 しかし、一口に「SageMaker」といっても「SageMaker ＊＊＊＊」といった関連サービスがとても多い。 もちろん、機能が多いのはありがたいことなのですが、初心者にとっては覚えるのが大変なので、試験の復習も兼ねて、まと

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに AWSサービスクォータの管理、自動化してますか？ 前回の記事では、AWSサービスクォータの重要性と全サービスクォータを一覧化する方法を紹介しました。 今回は、AWSのサービスクォータの管理を自動化する意味とその方法を解説します。 合わせて、クォータ管理を自動化するCloudFormationテンプレートのサンプルも紹介します。 前回のおさらい 前回の記事では、 サービスクォータを意識しないと信頼性が低下してしまう可能性がある サービスクォータを意識しよう、という話は AWS Well-Architected Framework

なぜ、サービスクォータを意識しないといけないのか？ 結論から言うと、サービスクォータを意識していないと、システムの信頼性・可用性が低下してしまう可能性があるためです。 例えば、Aさんが API Gateway - Lambda - DynamoDB を用いてサーバーレスなAPIサービスを作ったとしましょう。 Aさんは「Lambdaは自動でスケーリングしてくれるから利用者が増えても大丈夫」と考えています。 このAPIサービスは好評を博し、順調に利用者が増えていきました。 すると、ある日突然、このAPIでエラーが頻発するようになりました。 なぜでしょう？ 原因は、利用者増加に伴い、Lambdaの同時実行数が増え、同時実行数が「1,000」を超えた＝Lambdaのサービスクォータに引っ掛かってしまったためでした。 つまり、Aさんはサービスクォータを意識していなかったため、このAPIサービスの信頼