Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 課題 これまでLambdaを使用する案件に携わってきました。多くの場面で、ソースコードを作成して「デプロイ」をクリックすることで反映させ、テストを行い、問題がなければ対応完了とする流れを目にしてきました。（＊） 確かにこの方法は間違ってはいませんが、最適とは言えません。 メリット 対応が迅速に行える デメリット ソースコードの変更履歴が確認できない 簡単に修正できてしまう うっかり変更してしまった場合、気付きにくく、インシデントが発生しやすい デプロイ方法の提案 Lambda VersionとLambda Aliasを使います。 上記（
Amazon Connect での会話内容を日本語で要約し、コンタクト詳細に表示する方法 | DevelopersIO
はじめに 本記事では、Amazon Connect Contact Lensで文字起こしした内容を日本語で要約し、コンタクト詳細画面に表示する方法を紹介します。 Contact Lensには、会話内容の文字起こしと要約機能が標準で搭載されています。 ただし、要約機能は日本語に対応していません。 そこで、Contact Lensが文字起こしデータをS3に保存した際のトリガーで、AWS LambdaからAmazon Bedrockを利用して日本語の要約を生成します。 生成した要約は、コンタクト詳細画面の属性として保存することで、以下のように表示できます。 コンタクト詳細に要約文を表示 構成は以下の通りです。 処理の流れは以下の通りです。 Contact Lens が会話を文字起こしし、S3 に保存 S3 の PUT イベントをトリガーに Lambda を実行 Lambda が S3 から文字起
エンタープライズにおける Amazon Bedrock による生成 AI のオペレーティングモデル | Amazon Web Services
Amazon Web Services ブログ エンタープライズにおける Amazon Bedrock による生成 AI のオペレーティングモデル 本記事は、2025 年 1 月 29 日に公開された Generative AI operating models in enterprise organizations with Amazon Bedrock を翻訳したものです。 生成 AI は、お客様や従業員のエクスペリエンスを向上させる革新的なアプリケーションの創出を可能にし、革命をもたらします。インテリジェントなドキュメントの処理、翻訳や要約、カスタマーサポートのエージェントを支援する柔軟で洞察に富んだ応答、パーソナライズされたマーケティングコンテンツ、画像やコードの生成などは、生成 AI を使用したユースケースの一例であり、実運用されているものです。 大規模な組織では、複数の事業部門
AWS LambdaからAmazon Bedrockを利用する際、Prompt Managementでプロンプトを管理してみた | DevelopersIO
お客様からのお問い合わせ内容を元に、ルール内のリストからもっとも適切な種別を選んでください。 存在しない問い合わせ種別に遭遇した場合は、「その他」を回答してください。 <rule> 1. 返信には、「以下のように変換しました」等の文言は含めないでください。 2. お客様のお問い合わせ内容に最も適した種別を次のリストから選択してください： - メニューに関する問い合わせ - 大人数対応に関する問い合わせ - 予約に関する問い合わせ - 営業日や時間に関する問い合わせ 3. 回答は、選択した種別のみを返してしてください。 </rule> お客さんのお問い合わせ内容は次のとおりです。 <question> {{input_text}} </question> このプロンプトは、先ほど紹介したブログで実装した問い合わせ種別判定システムで使用したものをベースにしています。 プロンプトメッセージの変数
TROCCOのSelf-Hosted RunnerをAmazon ECS（Fargate）で動かしてプライベートネット間の転送をしてみた
はじめに 2025/02現在、クラウドETL「TROCCO」では、任意の環境でデータ転送処理を完結できる、「Self-Hosted Runner」機能の開発が進められています。 この度、β版としてトライアルの受付が始まったので、実際に試してみました。 筆者について 筆者は、サービスの黎明期よりTROCCOの開発に従事、Self-Hosted Runnerの設計や実装の一部も行っている、いわゆる中の人です。 今回は、現時点での公開可能情報から、できる限り本機能のイメージを明確にしていただければと、執筆しています。 既存のTROCCOのアーキテクチャ まず、既存のTROCCOのアーキテクチャについて軽く触れておきます。 TROCCOでは、データ転送ジョブが立ち上がると、弊社管理のAmazon EKS上でPodが立ち上がり、終了するとPodも破棄されます。 Pod内では、OSSのEmbulkで転
はじめに こんにちは！D2Cでデータエンジニアをしております、飯森と申します。 今回はAWSのLake Formationの機能、LF-tagを使って、2アカウント間でDB・テーブルのクロスアカウント連携を行う方法を共有したいと思います。 ここで紹介する方法はあくまで一例ですので、ご了承ください。 流れ 簡単に作業の流れをざっと並べますと、 GlueのData catalog settingsに設定を追加 クロスアカウント連携用LF-tagを作成 作成したLF-tagをDB・テーブルに付与 同じLF-tagへの権限を連携先アカウントに付与 Data lake locationsにテーブルのロケーションバケットを設定 Data locationsにテーブルのロケーションバケットを設定(ここまで連携元で作業) リソースリンクDBを作成(ここから連携先で作業) リソースリンクDBにユーザによる閲
このドキュメントはバージョン 1 の AWS CLI のみを対象としています。AWS CLI のバージョン 2 に関連するドキュメントについては、バージョン 2 用ユーザーガイドを参照してください。 AWS CLI での IAM ロールの使用 AWS Identity and Access Management (IAM) ロールは、ユーザーが追加の (または異なる) アクセス許可を取得するか、または異なる AWS アカウントでアクションを実行するアクセス許可を取得するこをできる認可ツールです。 前提条件 これらの iam コマンドを使用するには、AWS CLI をインストールして設定する必要があります。これには、ロールが別の認証情報メソッドとペアになっていると仮定して設定されたプロファイルの設定が含まれます。詳細については、「AWS CLI のインストール、更新、アンインストール」を参照
AssumeRoleと外部ID(External ID)をAmazon EMRとAWS-CLIから簡単に扱う方法
こんにちは。データサイエンスチームのtocci3です。 今回はAssumeRoleと外部ID（External ID）を Amazon EMRからJava Jarファイルを作成して簡単に扱う方法 AWS-CLIの設定で簡単に扱う方法 について説明します。 AssumeRoleとは AssumeRoleとは、AWSリソース（S3バケットなど）の所持者（許可する側）が他者（許可される側）に対して、許可する側に一時的に成り代わりリソースの書き込みや読み取りを許可するやり方です。 外部ID（External ID）とは 外部ID（External ID）とは、AssumeRoleで「許可する側」から「許可される側」に割り振る、一意のIDです。 AssumeRoleを行うときに、外部IDが異なる場合はAssumeRoleができませんので、外部IDによって許可する側は制限を強くしたり、複数の連携先の管
S3 メタデータ S3 に保存されたデータの詳細情報（メタデータ）を自動的に取得し、ほぼリアルタイムで更新されるため、データの管理や分析が容易に ファイルサイズや作成元などの基本情報（システム定義メタデータ）だけでなく、タグを使って独自の情報（カスタムメタデータ）をファイルに付加することも可能 対応リージョン 米国東部 (バージニア北部) 米国東部 (オハイオ) 米国西部 (オレゴン) 設定 他の方も試されていると思いますので、私の記事では余分な解説は省いてシンプルな設定方法を纏めます。 テーブルバケットを作成 Amazon S3 > テーブルバケット > テーブルバケットを作成 より「テーブルバケット名」を入力し、テーブルバケットを作成する。 汎用バケットでメタデータを設定 Amazon S3 > バケット > <自身の S3 バケット名> より「メタデータ」 タブよりメタデータを作成し
AWS IAMロールの ExternalId が大文字・小文字を区別するのか試してみた | DevelopersIO
AWS IAMロールでは、ExternalIdが設定できます。 AWS リソースへのアクセス権を第三者に付与するときに外部 ID を使用する方法 - AWS Identity and Access Management IAM ロールの信頼ポリシーで設定する外部 ID(sts:ExternalId) について | DevelopersIO ExternalIdで利用できる文字について、大文字・小文字を区別するのか気になったので、試してみました。 ExternalId の値は、2～1,224 文字で構成されている必要があります。この値は、空白のない英数字にする必要があります。次の記号を含めることもできます。プラス記号 (+)、等号 (=)、カンマ (,)、ピリオド (.)、アットマーク (@)、コロン (:)、スラッシュ (/)、およびハイフン (-)。 https://docs.aws.a
皆さんはLambda を最適にデプロイしているか？ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 課題 これまでLambdaを使用する案件に携わってきました。多くの場面で、ソースコードを作成して「デプロイ」をクリックすることで反映させ、テストを行い、問題がなければ対応完了とする流れを目にしてきました。（＊） 確かにこの方法は間違ってはいませんが、最適とは言えません。 メリット 対応が迅速に行える デメリット ソースコードの変更履歴が確認できない 簡単に修正できてしまう うっかり変更してしまった場合、気付きにくく、インシデントが発生しやすい デプロイ方法の提案 Lambda VersionとLambda Aliasを使います。 上記（
Lambda Provisioned Concurrency のApplication Auto Scalingにかかる時間を計測してみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Lambdaのコールドスタートに苦しめられた経験はありませんか? 私が関わっているシステムではコールドスタート時のレスポンスタイムが課題でした。 コールドスタートを防ぐ手段としてProvisioned Concurrencyがあります。 Lambdaの実行環境を事前暖機しておきウォームスタートさせる機能です。 しかし、呼び出し毎に課金されるLambdaとは違い、呼び出されなくても事前暖機しておくだけでその数分課金されるため、未使用分コストが無駄にかかってしまうのが懸念点です。 そこで登場するのがApplication Auto
[cdk bootstrapコマンド] 環境にブートストラップをインストール中にエラー - Qiita
$ cdk bootstrap --profile <プロファイル名> ⏳ Bootstrapping environment aws://XXXXXX/ap-northeast-1... Trusted accounts for deployment: (none) Trusted accounts for lookup: (none) Using default execution policy of 'arn:aws:iam::aws:policy/AdministratorAccess'. Pass '--cloudformation-execution-policies' to customize. CDKToolkit: creating CloudFormation changeset... CDKToolkit | 0/12 | 23:37:30 | REVIEW_IN_P
![[cdk bootstrapコマンド] 環境にブートストラップをインストール中にエラー - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/275e8fb30cf3ed4466d735e62964dc27690c8b29/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGMjkyMjMxMiUyRnByb2ZpbGUtaW1hZ2VzJTJGMTczODk4ODM1MT9peGxpYj1yYi00LjAuMCZhcj0xJTNBMSZmaXQ9Y3JvcCZtYXNrPWVsbGlwc2UmZm09cG5nMzImcz0yY2Q1OTdiZTM3NzI3NzVhZDgxOTM5NDYxODNmZWIzYQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dbc0377b4bc29494113e9ed9f000c5d98%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCY2RrJTIwYm9vdHN0cmFwJUUzJTgyJUIzJUUzJTgzJTlFJUUzJTgzJUIzJUUzJTgzJTg5JTVEJTIwJUU3JTkyJUIwJUU1JUEyJTgzJUUzJTgxJUFCJUUzJTgzJTk2JUUzJTgzJUJDJUUzJTgzJTg4JUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgzJUE5JUUzJTgzJTgzJUUzJTgzJTk3JUUzJTgyJTkyJUUzJTgyJUE0JUUzJTgzJUIzJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgzJUJDJUUzJTgzJUFCJUU0JUI4JUFEJUUzJTgxJUFCJUUzJTgyJUE4JUUzJTgzJUE5JUUzJTgzJUJDJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YzBlNTJiZjU5NTY1NjkyODQ5OTU0ODU0NTI2NjFhOTU%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBhbG1hamlybzEyMTIxMiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTY5NDA2ZWYzZjliMGE0MGI1Zjg5NTFlMmM2YmI3ODA0%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D827dd6ae8d7141d07878597da3586713)
Unnamed Memory | Netflix
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
AWS のマネージメントコンソールで MFA を有効化しても、実はアクセスキーを使用したAWS CLIの実行はできてしまいます。つまり、コンソールでのMFA設定だけでは、CLI経由のアクセスを完全に保護できているとは言えません。 特に、組織のセキュリティポリシーでMFA認証が強制されている環境（参考：多要素認証(MFA)するまで使えません！なIAMユーザを作成してみた）では、AWS CLIでのMFA認証の設定が必須となります。 本記事では、プロファイルを切り替える方式でMFA認証を実装する方法を解説します。 AWS CLIでのMFA認証については、こちらの記事も参考になりますので併せて読んでみてください。 前提条件 AWS CLIがインストール済み IAM ユーザーが作成済み MFAデバイスが設定済み（Google Authenticatorなど） 1.AWS CLIのプロファイルを作成
lambda基礎 - Qiita
lambda関数の構造と設計 eventの情報 イベントから渡される任意のJSONデータである。ただ、lambda関数の引数に渡されるときパース済みであり、JSONではなく、pythonのオブジェクトに変換されている。 例）{x:10,y:20} → event["x"]=10,event["y"]=20として取得できる。 contextの情報 実行環境の情報が含まれる。例えば、メモリ容量やlambdaが配置されているパスなど。。。 ランタイム設定 ハンドラは呼び出すべき「ファイル名.関数名」を指定する設定値である。この設定が実際のものと合致していないと呼び出しが失敗する。 CloudWatch Logs lambdaを実行すると、CloudWatch Logsにも記録される。print()で出力してデバッグ確認することもできる。 lambdaの実行環境とイベント lambda関数はlin
Datadog による Amazon ECS on AWS Fargate コンテナログ収集のベストプラクティス | DevelopersIO
こんにちは。テクニカルサポートチームのShiinaです。 はじめに コンテナ環境でのアプリケーション運用において、ログの収集と監視は非常に重要です。 エラーの早期発見や原因調査、セキュリティインシデントの検知など、様々な用途で活用されます。 本記事では、Amazon ECS on AWS Fargate で実行されているコンテナのログを Datadog で収集する2つの方法について、それぞれの特徴や具体的な設定手順を解説します。 AWS FireLens を利用する方法と、CloudWatch Logs 経由で Datadog Forwarder を使用する方法を比較しながら、実装に必要なポイントを説明していきます。 ログの収集方法 Amazon ECS on AWS Fargate で実行されているコンテナログを収集して Datadog に転送する方法は２種類あります。 AWS Fire
Amazon EventBridge Schedulerを使ってRDS(Aurora)をS3にエクスポートする - FURYU Tech Blog - フリュー株式会社
はじめに ゲーム・アニメ事業部でスマートフォンゲームのサーバサイド開発をしている山根です。 今回は、定期的にAuroraをS3にエクスポートしたいと思い、Amazon EventBridge Schedulerを使ってみました。 docs.aws.amazon.com また、AuroraをS3にエクスポートするということで、StartExportTaskを利用します。 docs.aws.amazon.com Roleの設定 今回の場合は、 StartExportTaskで利用するRoleとEventBridgeで利用するRoleの2つが必要になります。 まず、StartExportTaskで利用するRoleについてです。 StartExportTaskでRoleを利用するために、カスタム信頼ポリシーに { "Version": "2012-10-17", "Statement": [ {
ドメイン、SSL 証明書を発行し、AWS S3 で静的コンテンツをインターネット公開（Basic 認証）する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. 概要 ドメイン、SSL 証明書を発行し、AWS S3 で静的コンテンツをインターネット公開（Basic 認証）する際、必要になるであろう一連の手順をまとめています。 細部に注目すると記載量が膨大になってしまいますため、必要手順を漏らさずになぞれるような記載にして備忘としています。 2. ハマりどころ 各設定はさほど難易度が高いものではないのですが漏らせば当然動かず、動かない場合に原因を辿ることは難しく感じています。 そうした背景より、調べたことを記録しておこうと考えた次第です。 具体的な箇所 AWS Certificate Man
はじめに Terraformでインフラを記述してapplyしてみたら思ったoutputと違う値が出ている、planでエラー出ているけどmoduleのoutputがどんな感じかわからない。「printfデバッグみたいなことができたらいいのに…」みたいなことを思った人はありませんか？ そんなあなたに、Terraformにはterraform consoleというコマンドをお勧めします。 terraform consoleを使ってみよう terraform moduleのoutputを別のmoduleの引数として参照したいというシナリオを想定していきます。 貴方はvpc moduleのoutputを使ってsecurity_groupを定義していきたいがどのようなoutputがあるか確認したいです。 与えられたコード module "vpc" { source = "terraform-aws-m
前提 ・利用環境：Databricks、AWS ・カスタムAWS構成（顧客管理VPC）を使用 参考ヘルプ Databricksの資格情報を作成 1)「クラウドリソース」→「資格情報の設定」→「資格情報の設定を追加」をクリック 2)AWS上で、IAMロールをクリック 3)「ロール」→「ロールを作成」をクリック 4)以下の内容を設定し、「次へ」→「次へ」をクリック 設定内容： 信頼されたエンティティを選択：AWSアカウント AWSアカウント：別のAWSアカウント アカウントID：414351767826 ☑︎外部IDを要求する 外部ID：DatabricksアカウントコンソールからコピーしたDatabricksアカウントID 5)ロール名を入力し、「ロールを作成」をクリック 例： -ロール名： ho-iam-cross 6)手順5)で作成したロールを開き、「許可を追加」→「インラインポリシーを
はじめに GitHubActionsでECRにpushをしようと試みた際にIAMロールの権限エラーで少しハマったので備忘録として起こったこと、原因とその対処法をまとめます。 何が起こったのか 以下のymlファイルでGitHubActionsからECRへのイメージプッシュを試みました。 name: Build And Push on: workflow_call: workflow_dispatch: env: AWS_REGION: ap-northeast-1 ECR_REGISTRY: 992382548989.dkr.ecr.ap-northeast-1.amazonaws.com jobs: build: name: Build And Push runs-on: ubuntu-latest permissions: id-token: write contents: read s
はじめに AWSのDBは、メンテナンスやパッチ適用を定期的に実施するためなど様々な理由から、7日間以上停止することができないようになっています。7日経過すると自動的に起動します。そのためしばらく使わないとわかっているDBがある場合、インスタンス時間にかかるコストだけでも削減しようとするなら、7日ごとに起動してくるDBを忘れずに停止する必要があります。 自動化するために色々なやり方があるのですが、AWSが公開しているやり方は2年前に更新されたナレッジで、一番簡単な方法ではないような気がしましたので、私なりのやり方を書いてみます。 色々なやり方 私が今回紹介するのは以下の3つやり方のうち、最後のやり方になります。 1.Lambda関数とEventBridgeスケジューラを組み合わせて停止する Lambdaは、プログラムコードの管理とランタイムバージョンの保守が地味に大変なので、Lambdaを作
マネジメントコンソールにてクロスアカウント用のIAMロールを作成時に、外部IDを必須にするか設定することができます。 この外部IDですが、主にサードパーティー製品からのアクセスを許可するときに利用し、公式では「混乱した代理問題」と呼ばれる課題を解決するために利用するそうです。 「外部IDを指定することで意図していない不正なユーザーからのアクセスを防ぐことができる」 という説明で終わっているサイトが多いのですが、実際にどのように不正なアクセスを防ぐことになるのかイメージが出来なかったためまとめることにしました。 特に、「サードパーティ製品からのアクセス」のところがイメージしづらかったので、今回は『EC2コストチェックくん』というサードパーティ製品を妄想して考えてみました。 外部ID無しで利用する場合 今回は『EC2コストチェックくん』を元に考えてみました。 『EC2コストチェックくん』の仕様
![[AWS]クロスアカウント設定の外部IDについて簡単にまとめてみた](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb72c71a5b33cae59591e4d28f9c9099bb636c25/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Be7kDz6W--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BAWS%25255D%2525E3%252582%2525AF%2525E3%252583%2525AD%2525E3%252582%2525B9%2525E3%252582%2525A2%2525E3%252582%2525AB%2525E3%252582%2525A6%2525E3%252583%2525B3%2525E3%252583%252588%2525E8%2525A8%2525AD%2525E5%2525AE%25259A%2525E3%252581%2525AE%2525E5%2525A4%252596%2525E9%252583%2525A8ID%2525E3%252581%2525AB%2525E3%252581%2525A4%2525E3%252581%252584%2525E3%252581%2525A6%2525E7%2525B0%2525A1%2525E5%25258D%252598%2525E3%252581%2525AB%2525E3%252581%2525BE%2525E3%252581%2525A8%2525E3%252582%252581%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E9%252585%2525A2%2525E3%252582%25258D%2525E3%252581%252586%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzhjMjQwZDE3ZjIuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
この記事は、GENDA Advent Calendar 2024 8日目の記事です。 はじめまして。株式会社GENDAバックエンドエンジニアのじょにーです。 11月にリリースしたカラオケBanBanアプリのリニューアルで、インフラコード管理にCDKを採用しました。 本記事では、CDKを使って開発するにあたって考慮した3つのポイントを紹介します。 前提 フルスクラッチ開発 対象はアプリ・POS・管理画面のバックエンドAPI AWSアカウントは環境ごとに分離（STG/本番、DNS・ECR等共通インフラ） バックエンドはすべてモノレポ アプリはほぼ同一構成（ALB＋ECS Fargate、Aurora PostgreSQL、Elasticache、S3） 非同期処理はSQS＋ECS Fargate、CronジョブはScheduledTask、監視はDatadog 気をつけたポイントは以下の3つで
はじめに 今回はイベントバスのアクセス許可周りを見てみます。 イベント送信できるのは同一アカウントのみ。 初期状態では、イベント送信できるのは同一アカウントのみとのことなので、動作確認してみます。 適当なカスタムイベントバスCross-Account-BusをアカウントAに作ってみます。 アカウントBでCLIを利用し、アカウントAのカスタムイベントバスにイベント送信(put-events)してみます！ aws events put-events \ --entries '[{ "Source": "custom.application", "DetailType": "paid", "Detail": "{\"payment_number\": \"00001\"}", "EventBusName": "arn:aws:events:ap-northeast-1:AAAAAAAAAAAA:
先日AuroraのデータをS3にエクスポートする方法というのを紹介しました。 そのときの記事がこれ 上記はコンソール画面から手動でエクスポートするだけでしたが、今回はこれをLambdaで実行してみたいと思います。 関数の作成 まずは関数の作成ですね。今回はPythonを使うという前提で話を進めます。 実行ロールはここで新しいロールを作成しても良いのですが、もし既存のロールを使用するのであれば、IAMのロールに許可ポリシーと信頼されたエンティティを自分で追加する必要があります。 許可ポリシー { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "iam:PassRole", "rds:StartExportTask" ], "Resource": "*" } ] } 信頼されたエンティティ（信頼
aws_iam_policy_documentを使っていると、terraform planを実行したときに差分が大きくて変更がわかりにくくなることがあったので検証してみた。 具体的には以下のようなパターンで差分が大きくなった。 まず以下のようなtfがあったとして resource "aws_cloudwatch_log_group" "my-group" { name = "my-group" } resource "aws_iam_role" "log-writer" { name = "log-writer" assume_role_policy = jsonencode({ Version = "2012-10-17" Statement = [ { Action = "sts:AssumeRole" Effect = "Allow" Principal = { Service =
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. 目的 AWSアカウントの管理を簡単に AWSアカウントの利用が増えると、毎日の利用料金をチェックするのが大変になってきます。 手動で確認するのは時間がかかるだけでなく、ミスも起こりやすいです。 そこで、自動化されたシステムを使って利用料金を簡単に取得・管理し、作業の手間を減らしたいと考えています。 チーム全体でコストを共有 利用料金の情報をチーム全員と共有することで、無駄なリソースの使用を防ぎ、コスト意識を高めることができます。 Teamsに自動で投稿する仕組みを作ることで、全員が最新のコスト状況を確認できるようになります。 2.
Lambda のトリガーに設定した情報が Lambda コンソール上に表示されない原因を教えてください | DevelopersIO
困っていた内容 CloudWatch Logs ロググループのサブスクリプションフィルターなどから Lambda 関数を起動するために Lambda にリソースベースのポリシーを追加しました。 しかし、Lambda コンソール上には Lambda のトリガーとして表示されていません。 Lambda のトリガーに設定した情報が Lambda コンソール上に表示されない原因を教えてください。 どう対応すればいいの？ リソースベースのポリシーにワイルドカードを含むトリガーは、Lambda コンソールに表示されない場合があります。 Lambda リソースベースのポリシーサイズ制限エラーの解決 | AWS re:Post リソースベースのポリシーにワイルドカードを含むトリガーは、Lambda コンソールに表示されない場合があります。 サポートエンジニアがよく見る AWS Lambda についてのお悩
AWS CDK コンストラクト - AWS Cloud Development Kit (AWS CDK) v2
これは v2 AWS CDK デベロッパーガイドです。古い CDKv1 は 2022 年 6 月 1 日にメンテナンスを開始し、2023 年 6 月 1 日にサポートを終了しました。 翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS CDK コンストラクト コンストラクトは、AWS Cloud Development Kit (AWS CDK) アプリケーションの基本的な構成要素です。コンストラクトは、1 つ以上の AWS CloudFormation リソースとその設定を表すアプリケーション内のコンポーネントです。コンストラクトをインポートして設定することで、アプリケーションを 1 つずつ構築していきます。 コンストラクトをインポートして使用する コンストラクトは、AWS コンストラクトライブラリ から
Amazon S3 Tables の Iceberg テーブルに Amazon Athenaから更新クエリを試す！（今更だったらゴメンね） | DevelopersIO
クラウド事業本部コンサルティング部の石川です。本日は、Amazon S3 TablesのIcebergテーブルに対するAmazon Athenaからの更新クエリの実行可能性と、Amazon S3 TablesとIceberg Tables on Amazon S3のパフォーマンス比較について解説します。 Amazon Athenaから更新クエリを試す！って今更？ re:Invent2024で Amazon S3 Tablesが発表になった直後は、ワクワクして一番最初にAmazon Athenaで様々なクエリの実行を試していたはずでした。私の記憶が正しければ、Amazon S3 Tables の Iceberg テーブルに Amazon Athenaから更新クエリはエラーになっていたと思います。 ところが、亀田さんが、「Amazon S3 Tables のハンズオンを今度やるので簡単な手順を
【AWS】DynamoDBでTTLに達したデータをS3 Glacierへアーカイブする構成 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 この構成は、IoTデバイスから送信されたデータをDynamoDBに格納し、設定したTTL（Time To Live）に基づいて自動的に削除されたデータを、低コストなS3 Glacierストレージにアーカイブするものです。 目的 データ保持要件の遵守: 一定期間経過したデータを削除する必要があるものの、監査や分析のために長期的な保管が必要な場合に、コスト効率よくデータを保持します。 コスト最適化: アクティブに使用するデータは高速なDynamoDBに、アクセス頻度の低い過去データは低コストなS3 Glacierに保管することで、全体
AWS CloudTrail の新しいイベントカテゴリー 「ネットワークアクティビティイベント」 が一般公開（GA）されました | DevelopersIO
AWS CloudTrail の新しいイベントカテゴリー 「ネットワークアクティビティイベント」 が一般公開（GA）されました こんにちは、クラウド事業本部の平木です！ 2024 年 9 月頃にプレビューとしてリリースされた AWS CloudTrail (以下、CloudTrail) の 新しいイベントカテゴリーのネットワークアクティビティイベントが GA されたためプレビューとの変更点と合わせて見ていきます。 プレビュー時のブログはこちら↓ AWS 公式のアップデートブログはこちら↓ ざっくりまとめ VPC 内のリソースから VPC エンドポイントを経由して行われた API 呼び出しを CloudTrail 上に記録できる 現在時点（2025/02/15）で対応しているサービスは AWS CloudTrail、Amazon EC2、AWS KMS、Amazon S3（NEW）、AWS
前提 ・利用環境：Databricks、AWS ・カスタムAWS構成（顧客管理VPC）を使用 ・参考アーキテクチャ 参考ヘルプ 目次 顧客管理VPCを作成 Databricksのメタストアを作成 Databricksの資格情報を作成 Databricksのワークスペースを作成 トラブルシューティング 手順 1.顧客管理VPCを作成 参考手順のブログ： 2.Databricksのメタストアを作成 参考手順のブログ 3.Databricksの資格情報を作成 参考手順のブログ 4.Databricksのワークスペースを作成 1)「ワークスペース」をクリック 2)「ワークスペースを作成」をクリック 3)「手動」→「次のページ」をクリック 4)下記の内容を設定し、「次のページ」をクリック 例 ワークスペース名：ho-ws リージョン：ap-northeast-1 5)「ストレージ構成の作成」をクリッ
AWSでマルチアカウント運用しているとコスト管理がちょっとたいへんですよね。 Cost Explorerでは単一アカウントしか見られないので、ほかのアカウントと比べて何にコストが掛かっているかみたいなのはグラフを並べて見られるとうれしい。 一方で、毎日コストを見ているわけにもいかないので、異常時だけ通知してほしい。 ということで、こんな感じ。terraformで作ります。 Cost Anomaly Detection まずはコスト異常検出です。 有効化するだけなのでそれほど面倒ではないのですが、AWS Chatbotがterraform対応してないので一工夫します。 hashicorp/awsccを使うか、aws_cloudformation_stackリソースを使えばよいのですが、CURでCloudFormationテンプレートの読み込みをするので合わせます。 と、解説を書こうと思ったら
はじめに ALB + ECSの構成におけるStatic Fileの管理方法には、複数の選択肢があります。 例えば、以下のような方法です。 appとともに直接ecs内部に格納 S3で管理し、CloudFront + S3の構成とする 前者の場合、static fileを直接更新するには、appのdeployが必要になります。 後者の場合、CloudFrontを利用するため、client視点では通信経路が増え、社内申請や管理が煩雑になるところもあります。 以下のいくつかの要件に対応できる案を考えた。 Static FileをS3で管理 CloudFrontを利用せず、追加Domainなし S3へのアクセスはPrivateLinkを経由 構成図(簡略版)及び注意点 appとともに直接ecs内部に格納の場合(比較するため) 考案(VPC interface endpoint経由) 【注意点】Buc
はじめに 前提条件 システム構成 やってみる S3 DynamoDB ユーザーIDの取得方法（Boto3） おわりに はじめに こんにちは、アプリケーションサービス部 ディベロップメントサービス１課の北出です。 Cognitoでユーザーにアクセス権限を付与するにあたって、あるユーザーが他のユーザーの情報を見れないようにしないといけないといった要件があると思います。 今回は、Cognitoでユーザーごとにアクセス権限を付与する手順を紹介します。 前提条件 前回の記事からの続きとなりますので、前回の記事のリソースが作成されている前提とします。 システム構成 本記事では、この図のように、user-0001の人は自分のS3プレフィックスのオブジェクトにしかアクセスできず、DynamoDBも自分のパーティションキーのレコードしかアクセスできないようにします。 ユーザーごとに異なるIAMロールをつくる
AWSのIAMユーザーを一時的に無効化する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 作業の背景 自分がAWSアカウントの管理を担当しているAWSの構築案件でメンバーが一時的に離任することになった。 離任中のメンバーのAWSへのアクセスを制限するために、IAMユーザーを削除する代わりに、離任中は一時的にIAMユーザーの権限を無効化し再び着任した際に有効化するという運用を試してみた。 あえてIAMユーザー削除を選ばなかった理由は2つある。 開発したプログラム内のAWSのリソースへアクセスするロジックにて、AWSの認証・認可のために個人のIAMユーザーのパスワードやアクセスキーを埋め込んでいる可能性がなきにしもあらずだった。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
皆さんはLambda を最適にデプロイしているか？ - Qiita
LF-tagを使ってクロスアカウント連携を行うまで(AWS Lake Formation)
AWS CLI での IAM ロールの使用 - AWS Command Line Interface
S3 メタデータが GA されたとのことなのででやってみる - Qiita
AWS CLI の MFA 認証をスクリプトで簡単に実行する方法 | DevelopersIO
terraform consoleは便利なお話 - Qiita
Databricksの資格情報を作成してみた - Qiita
GitHubActionsでECRにpushしようとしたら権限エラーでハマった - Qiita
Auroraクラスターを7日間以上停止する一番簡単な方法
[AWS]クロスアカウント設定の外部IDについて簡単にまとめてみた
新サービスのインフラにCDKを選択したとき気をつけたポイント3点
クロスアカウントのカスタムイベントバスを作ってみる。 - Qiita
AWSのAuroraからS3へのエクスポートをLambdaで実行する | 日記の間 | あかつきのお宿
aws_iam_policy_documentを使うとplanの差分が大きくなるパターン - so what
AWS利用料金をTeamsに自動投稿する - Qiita
DatabricksのWorkspaceを作成してみた(Private Linkなし) - Qiita
BigQuery OmniでS3出力されたCURへクエリを投げたい
VPC Interface Endpoint S3経由でのStatic File利用 - Qiita
Cognitoでユーザーごとに異なるアクセス権限を付与する - サーバーワークスエンジニアブログ