AWS Lambda > RDS Proxy/Secrets Manager > RDS 構成の概要手順
LambdaからRDSに接続しようとした際のベストプラクティスを模索して辿り着いた１つの箇所として記録しておきます。 用途としては、webサービスのDBとしてRDS。ちょっとした軽いバッチやAPIのバックエンドにLambdaを検討していました。 必要なもの タイトルにある通り以下です。 LambdaRDS ProxySecrets ManagerRDS RDS Proxyについて LambdaからRDSに直接接続すると、Lambdaが連続で実行された際にすぐに接続数上限に達してしまいます。ここでRDS Proxyを使用すると、接続が再利用される為これを回避することが可能となりました。 Secrets Managerについて RDS ProxyからRDSへの認証に必要となります。 Secrets Managerは、DBのログイン情報や認証情報などの高い情報を管理してくれます。また、Lambd
AWS LambdaにPythonのライブラリを含めて環境構築する手順
AWS LambdaにPythonのライブラリを含めて環境構築する手順を記録しておきます。色々方法あると思いますが、手っ取り早い方法です。 ターゲットディレクトリを決めてクリアしておきます。 rm -rf [targetdirectory] ライブラリをターゲットディレクトリにインストールします。 pipenv lock -r | pip install -r /dev/stdin -t [targetdirectory] メインモジュールもターゲットディレクトリにコピーします。 例. app.pyなどメインモジュール cp -pr * [targetdirectory] zip化します。 cd [targetdirectory] zip -r app.zip ./* app.zipをLambdaにアップロードします。 以上です。 The post AWS
AWS Glueまとめ - NormalBlog.net
GlueはETL処理のマネージド型サービスです。 ETL処理とは. Extract（抽出） Transform（変換） Load（格納） の略で、データを抽出し、抽出したデータを変換・加工した上で次の処理へ渡す処理のことです。 Glueは難しい Glueを触る前、名前と機能からして簡単に出来る・わかりやすいサービス的な感覚だったのですが、出来る事も多く、理解すべき概念も多く、分散処理も初だと理解し難く、AWSのサービスの利用しやすさも低めに感じ、情報も少なく、正直ギャップが半端なく、とにかく凄い時間がかかりました。。 概念・前提知識 Glueは分散処理が基盤となっています。簡単な処理ならGlueのウィザードベースで出来ますが、ジョブスクリプト編集をしていくには、分散処理が初めての自分は色々な概念を理解する必要がありました。また、Glueの中でそれらを便利に使う為にまた別の技術も取り入れられ
AWSの全まとめ - NormalBlog.net
各種サービス 以下からAWSの各種サービスについて概要や詳細記事へのリンクを記載していきます。 S3 AWSを代表する主要サービスの１つで、ストレージサービスです。バケットと呼ばれるいれものを作り、ここにログやファイルをため込んで行く事が出来ます。耐久性に優れていて、バージョン管理も可能なので戻したり出来ます。 webのcssやjsなど静的コンテンツを格納する先としても使用される事が多いです。 EC2 こちらも代表的なサービスです。クラウドの専用サーバをたてるイメージです。OSやスペック等も選べますし、自動拡張機能もあります。 しかし、今はマイクロサービスやコンテナを使う時代なので、新規でEC2を選択するという事は減ってきています。 もし今EC2を使用しているとしたら、それは急激な負荷に耐えられるのか、壊れた場合でも復旧出来るのか、などを検討された方が良いかもしれません。 RDS これも代
何故今AWSの需要・必要性が出てきているのか？ - NormalBlog.net
AWS は Amazon Web Services の事で、Amazonが提供するクラウドコンピューティングサービス群の事ですが、今web系サービスを始めとして、サービスの基盤・サーバ環境に、このクラウドコンピューティングサービスを使う企業が増えてきています。 クラウドコンピューティングの代表として、 Amazon の AWS(Amazon Web Services)Google の GCP (Google Cloud Platform)Microsoft の Azure がありますが、今回はAWSについて触れます。 今までのレガシー環境で抱える問題 今までの環境で抱える問題があるからこそ、AWS等のクラウドコンピューティングサービスの需要が高まってきたわけです。先ずはその問題についてご説明します。 今までの古い環境を指す意味で良く使われるのがレガシー環境です。今回もこれを使います。 では
【まとめ】Amazon Athenaとは - NormalBlog.net
ELBやCloudFrontのログはどうされてますか？S3に入れている方が多いと思います。 S3に指定バケットを作ってそれを指定するだけでドコドコ勝手に入ってくるので、非常に便利です。 ただ、S3に入ってきたログはファイルもたくさんですし、タブ区切りになっているだけですので、表として見るには、ダウンロードしてターミナルからパイプでawkコマンドで見たりする必要があり、割と手間が必要です。 Amazon Athenaではこれらをマネージド型サービスとしてダウンロードせずに、AWSコンソール上からSQLを叩いてログを分析する事が可能です。 AthenaのSQLは馴染深いMySQLなどとは少し異なり、Facebook製のPrestoベースの分散SQLエンジンです。記述方法が違いますが、なんとなく使えますので、シンタックスエラーになった都度調べて覚えるレベルで良いのではと思います。 例えば、S3の
ALB+Lambda構成手順概要 - NormalBlog.net
LambdaはALBにhttpヘッダーを返すだけなので、用途としては、一時的に503メンテナンス画面を出したい場合、30xリダイレクトをしたい場合(httpリダイレクト)など、ALBを既に使っていれば簡単に設定出来る方なので知っておくと良いかもしれません。 VPC関係構築 通常のVPC構築手順ですが、ALBは複数のAvailability Zoneを指定してデプロイする必要がある為、サブネットも複数準備しておきます。 VPC関係として羅列しておくと以下の設定になります。 VPCサブネットセキュリティグループルートテーブル ALB構築手順 マルチAZで作成したサブネット２つを指定してALBを構築します。ターゲットにはLambdaを選択しますが、まだ出来ていないのでターゲットはLambda作成後になります。 Lambda構築手順 Lambdaを構築します。 注意点として、Lambdaはhttp
[Terraform AWS]ALBにACMで複数ドメインを指定しようとしたら出たエラー Error creating LB Listener: DuplicateListener: A listener already exists on this port for this load balancer
エラーメッセージからみるに、１つのリスナー・同一ポートには１つしか指定出来ないみたいです。今回、https 443に複数設定しようとしていた為、エラーとなったようです。 対応内容 調べたところ、1個目のhttpsリスナーは aws_lb_listener で、2個目以降のhttpsリスナーは aws_lb_listener_certificate を使用する必要があったようです。 httpのリスナーはaws_lb_listener で大丈夫です。 AドメインとBドメインを1つのALBのhttpsリスナーとする場合のサンプル resource "aws_lb_listener" "alb_listener_http" { load_balancer_arn = aws_lb.alb.arn port = "80" protocol = "HTTP" default_action { type
![[Terraform AWS]ALBにACMで複数ドメインを指定しようとしたら出たエラー Error creating LB Listener: DuplicateListener: A listener already exists on this port for this load balancer](https://cdn-ak-scissors.b.st-hatena.com/image/square/cc614dec2761b7ac5462d94dc58edeced6acc66f/height=288;version=1;width=512/https%3A%2F%2Fnormalblog.net%2Fsystem%2Fwp-content%2Fuploads%2F2019%2F08%2Fterraform-logo.png){kind=logo}
Terraform全まとめ AWS
IaCとは Infrastructure as Codeの略です。インフラのコード化です。 メリットは多数あり、誰かが構築したインフラをコードで再現出来る。コードとして冪等性を持たせて管理出来る。コードとして内容を把握する事が出来る。コードとしてレビューが出来る。処理に組み込む事で自動化が出来る。スケーラブルに対応出来る。他にも色々ありそうですね。 Terraformとは 簡単に言えば、TerraformとはAWSやGCPなどのインフラ環境を構築してくれるツールです。 上で触れましたが、「インフラのコード化」という言葉を聞いた事があると思います。Terraformは、これを実現する為の現時点で一番人気があるツールです。 AWSのCLIだけだと、依存関係を意識しながら順番に構築していく必要があったり、ゴリゴリとスクリプトを組む事も必要です。 これがTerraformだと、依存関係は意識しなが
【まとめ】AWSにRuby on Rails の環境を構築するまでの手順 | NormalBlog.net
最終構築イメージ パブリックWEBサーバ プライベートDBサーバ AWSアカウントの作成 「AWS アカウント作成の流れ」参照 https://aws.amazon.com/jp/register-flow/ AWS Identity and Access Management (IAM)の作成 以下の記事に記載しました。 https://normalblog.net/system/aws-iam-identity-and-access-management/ Amazon VPC(Virtual Private Cloud)の作成 以下の記事に記載しました。サブネットも作成します。 https://normalblog.net/system/aws-vpc-virtual-private-cloud/ Amazon EC2(Elastic Compute Cloud)の作成 WEB(AP
Amazon RDS(Relational Database Service)の作成手順
サブネットグループの作成 RDSを作成する中でサブネットグループを指定する為、あらかじめ作成しておきます。 １．DBサブネットグループの作成を選択 名前「db-subnetgroup01」 説明 ※任意 VPC「vpc01」 ※別手順 別手順で作成した、 アベイラビリティゾーン「a」プライベートサブネット DB用 アベイラビリティゾーン「c」プライベートサブネット DB用 【注意】この異なるアベイラビリティゾーンを指定します。2つ指定しないとエラーになります。 これでサブネットグループの作成は終了です。次はRDSを作成します。 １．Relational Database Serviceを選択 ２．DBインスタンスの起動を選択 ３．エンジンを選択 RDS無料利用枠の対象オプションのみを有効化にチェックを入れる。 MariaDBを選択 ※任意 ４．詳細設定 VPC「vpc01」 ※別手順 サブ
Amazon EC2(Elastic Compute Cloud)の作成手順と概要
１．EC2を選択 ２．インスタンスの作成 ３．Amazonマシンイメージ(AMI)の選択 無料利用枠のみにチェックし、適当なイメージを選択します。 DB（RDS）はあとで別途作るので、webサーバとなるAMIを選択します。 自分はCentOSの経験があったので選びたかったのですが、無料枠にはないですね。 しくしくしく・・・。 詳細の設定へと進みます。 インスタンス数「1」 ネットワーク「vpc01」※別手順 サブネット「public-subnet01a」※別手順 ストレージの追加はそのままにしました。 タグの追加も不要です。※任意 セキュリティグループの設定は任意です。何もしないと警告が表示されます。 【重要】SSH接続するEC2はSSHで自宅IPを許可しHTTPをソース0.0.0.0/0で許可したセキュリティグループを追加しておきます。 確認画面で確認します。 これでEC2の作成が終了で
AWS Identity and Access Management (IAM)の作成手順と概要
IAMを選択します。 サインインリンクをコピーして「ルートアカウント認証情報を使用してサインイン」します。 再びIAM画面に戻ってきたら、ユーザー＞ユーザーを追加を選択します。 ユーザーを追加します。 ユーザー名に任意名、アクセスの種類に任意選択、パスワードも任意選択。 ユーザーグループを作成します。 ユーザーグループを作成します。 グループ名に任意、AdministratorAccessにチェック。 ユーザーグループが作成されました。 ユーザーの作成を選択します。 セキュリティステータス確認 ユーザーが作成されましたがセキュリティステータスに改善点があります。 ルートアカウントのMFAを有効化させます。 パスワードログイン後に追加で認証を増やします。 MFAの管理を選択します。 今回はスマホアプリのGoogle Authenticator を使用したいと思うので、仮想MFAデバイスを選択
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS S3 CLIまとめ
AWS Glue Struct型のハマるポイント - NormalBlog.net
AWS Glue PySpark UDFの使い方・複数引数 - NormalBlog.net
AWS Glueでトリガーの時間を変更出来ない - NormalBlog.net
Amazon EC2が容量不足になった時に落とさずにボリューム追加する方法 - NormalBlog.net
Lambdaデプロイ時の権限ポリシーにiam:Passroleも必要だった - NormalBlog.net
AWS Lambdaのログを出力・デバッグする為CloudWatchLogsに出力した