はてなブックマーク

個人的に Web サイトを定期的に解析するアプリが必要になったので、AWS を活用してサーバーレスな Web スクレイピングアプリを構築してみました。 せっかく作ったので、このアプリのアーキテクチャと構築時のポイントを初心者にもわかりやすいように解説してみようと思います。 アーキテクチャ アーキテクチャとしては EventBridge, Lambda, DynamoDB, SNS を用いたシンプルな サーバーレスアーキテクチャ です。 解説 ここからは AWS サービス毎に構築時のポイントを解説していきます。 1. Lambda Web スクレイピングツール（ライブラリ）として Beautiful Soup を使うため、Lambda ランタイムは Python を選びました。 処理の流れは以下のとおりです。 Requests ライブラリ を用いて対象のWebサイトからコンテンツを取得する

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2024年3月25日更新 SAP on AWS認定試験は2024年4月29日に廃止されることがAWS公式から発表されています。 つまり、本記事も2024年4月29日にはお役御免となるわけですが、勉強方法という観点ではSAP on AWS認定試験に限らず有効だと思うので、汎用的な内容とした“時間がないけどAWS認定試験に合格したい人に贈る効率の良い勉強法”という記事を投稿しました。 よろしければ、こちらの記事もご覧ください。 まえがき つい先日、 AWS Certified SAP on AWS - Specialty (PAS-C01)

はじめに 先日、AWS認定 機械学習 - 専門知識 (AWS Certified Machine Learning - Specialty) に合格し、AWS認定試験をすべて制覇することができました。11冠達成！ この試験で特に重要なのがAWSの機械学習サービスである 「Amazon SageMaker」 です。 しかし、一口に「SageMaker」といっても「SageMaker ＊＊＊＊」といった関連サービスがとても多い。 もちろん、機能が多いのはありがたいことなのですが、初心者にとっては覚えるのが大変なので、試験の復習も兼ねて、まとめてみました。 SageMaker サービス体系 注意事項 AWS re:Invent 2021 (2021/11/29 - 2021/12/03) 以降に発表されたサービスは別枠としているのは、リリースされて6か月以内のサービスや機能に関する問題が認定試験

はじめに AWSサービスクォータの管理、自動化してますか？ 前回の記事では、AWSサービスクォータの重要性と全サービスクォータを一覧化する方法を紹介しました。 今回は、AWSのサービスクォータの管理を自動化する意味とその方法を解説します。 合わせて、クォータ管理を自動化するCloudFormationテンプレートのサンプルも紹介します。 前回のおさらい 前回の記事では、 サービスクォータを意識しないと信頼性が低下してしまう可能性がある サービスクォータを意識しよう、という話は AWS Well-Architected Framework にも書かれている サービスクォータは信頼性に影響するので 「信頼性の柱」 として定義されている という話を書きました。 今回は、この中の クォータをモニタリングおよび管理する クォータ管理を自動化する の話です。 なぜ、クォータ管理の自動化が必要なのか？

はじめに AWSのサービスクォータ、意識していますか？ 小規模なシステムであれば、意識していなくても問題になることはないかもしれません。 しかし、大規模なシステムではアーキテクチャ設計からサービスクォータを意識していないと痛い目に遭うことがあります。 本記事では、サービスクォータを意識する必要性を解説します。 合わせて、全サービスクォータを一覧化するCLIスクリプトも紹介します。 2022/02/28 追記 続編書きました。↓ サービスクォータとは？ 一言で言えば**「AWSのサービス毎に定められた制限」**です。 以下はVPCのクォータです。 「リージョンあたりの VPC の数」はデフォルトで「5」となっています。 「デフォルトで」というのは調整できる＝引き上げ可能ということです。 なぜ、サービスクォータを意識しないといけないのか？ 結論から言うと、サービスクォータを意識していないと、シ