Amazon Aurora MySQL zero-ETL integration with Amazon Redshiftが一般提供を開始しました！ データアナリティクス事業本部 機械学習チームの鈴木です。 Amazon RedshiftへのAurora MySQL zero-ETLが一般提供を開始しました。東京リージョンでも利用可能です！ Aurora MySQL zero-ETLとは Aurora MySQLからAmazon Redshiftへほぼリアルタイムの連携し、Redshiftでの分析と機械学習ができる、Amazon Aurora MySQL向けの機能になります。 この設定をしておくことにより、データがAuroraに書き込まれてから数秒以内に、そのデータはAmazon Redshiftで利用できるようになるという、非常に強力な機能です。 昨年のre:Invent2022で発表さ

次世代システム研究室の データストア 好きの Y.I. です。 MySQL/MariaDB/Percona Server でロックを取得して排他制御する際に便利なユーザーレベルロック GET_LOCK についてご紹介します。 DBで排他制御というとレコードロックやテーブルロックなどがあります。レコードロックにおいては、 SELECT FOR UPDATE で解放漏れなど排他制御を苦労されたことがあるかと思います。 ご紹介する GET_LOCK だと任意の文字列でロックを取得することができシンプルに排他制御が可能になります。イメージ的には MySQL に任意の文字列でフラグを立てて排他制御するイメージになります。 特に、ユーザー毎に排他制御をする要件に有効です。 例えば、ゲームのようなユーザーIDがありアイテムなどの消費や取得を厳しく排他制御したいケースなどです。 使い方 実行するコマンドは

Amazon Cognito のユーザー認証機能を利用しています。ユーザー認証に成功・失敗したログをAWS側で確認するにはどこをみればよいのでしょうか？ ユーザープールに対してAWS CLIを利用して Cognito の API を使った ユーザー認証を行い認証成功・失敗ログを例にAWS側に記録されているログを紹介します。 結論 ユーザー名の情報を確認したければCognitoのアドバンスドセキュリティ有効化をご検討ください。CloudTrailにはユーザー名ではなくユーザーIDが記録されます。 CognitoのAPIを利用した操作の認証ログはCloudTrailに記録される CloudTrailのログにはユーザー名、パスワードなどの秘匿情報は記録されない ユーザー名は記録されないがユーザーIDにあたるUserSubはCloudTrailに記録される Cognitoのアドバンスドセキュリティ

はじめに平素は大変お世話になっております。 クイックガードのパー子です。 先日、ユーザ認証のバックエンドに Amazon Cognito を利用されているお客様システムの監視について、設計からお任せいただく機会がありました。 そのときの知見を基に、Cognito をどのように監視したらいいのか改めて整理してみました。 Cognito とは最初に、Cognito がどういうサービスなのか軽くおさらいします。 What Is Amazon Cognito? - Amazon Cognito Cognito とは、Webアプリケーションやモバイル・アプリケーションのための認証、認可、アカウント管理をフルマネージドで提供するサービス (= いわゆる IDaaS) です。 大きく UserPool と IdentityPool の 2つのコンポーネントから構成され、それぞれ以下の機能を司ります。

Amazon SESの送信制限を超えた際のエラーメッセージと、挙動を確認したかったので簡単な検証しました。 結論 24時間以内の送信制限数を超過するとDaily message quota exceededエラーが返される。 秒間の最大送信レートを超過するとMaximum sending rate exceededエラーが返される。 SESのCloudWatchメトリクスに送信制限数の項目はない。SESのダッシュボードか、AWS CLI、SDKで確認できる。 送信制限に引っかからないかモニタリングしたい場合、自前でカスタムメトリクスを取得する必要がある。 Errors related to the sending quotas for your Amazon SES account - Amazon Simple Email Service 送信制限の確認 アカウントダッシュボードから送信

概要 CodeCommitに作成したリポジトリへWindows環境のIDEおよびGit for Windowsから接続する方法について調べたメモです。 Java開発を意識したのでIDEはEclipseとIntelliJ IDEAで検証しました。 確認した開発ツールと接続方法の組み合わせは以下の通りです。 Git for Windowsを利用する場合 HTTPS接続 + Git credential helper SSH接続 Eclipseを利用する場合 HTTPS接続 + Eclipse Secure Storage HTTPS接続 + AWS Toolkit for Eclipse Intellij IDEAを利用する場合 HTTPS接続 + Git credential helper HTTPS接続 + IntelliJ IDEA Passwords SSH接続 簡単なまとめ Ecli

なので Step Functions を使いましょうと言うお話です。 ある ECS で動いているバッチジョブの定期実行に EventBridge Rules を使って実装していたのですが、ある時ジョブがほぼ一定の頻度で失敗している事に気づきました。 AWS サポートに問い合わせると、今回のケースでは EventBridge Rules ではリトライできないので、 Step Functions を間に噛ませて下さいとご提案頂いたので、今回はその様にしました。 それでは以下経緯を交えながら実際のアーキテクチャをご紹介していきます。 構成 ECS クラスタは Fargate ではなく EC2 駆動Capacity providers を使って ASG (Spot Fleet は使っていない) をコントロールしているECS Task は普通のバッチジョブで、ワークロードが終わったら落ちるジョブの定

bao @baobabustroll 個人の体験です。 この一年で30万円くらい肩凝りと腰痛の改善のためにお金使ってみて、いちばん効果があったのは 肩こり: フィットボクシング2 95%、マッサージ5%（肩こり残0%） 腰痛: フィットボクシング2 30%、マッサージ 10% （腰痛残60%） でした。 任天堂さんありがとうございます。 2023-11-12 20:41:07

コーヒーが好きな木谷映見です。 今日はスイッチロールの概念と設定方法についてまとめていきます。 スイッチロールとは？ ざっくりとしたイメージ 真面目なイメージ スイッチロールのイメージ 「帽子をかぶって力を得る」 IAM ポリシーの種類 アイデンティティベースのポリシー リソースベースのポリシー IAM ロールの信頼ポリシー sts:AssumeRole とは IAM ロールに付与されるポリシー スイッチロールをする際の権限まとめ スイッチロールの手順 スイッチ元アカウントA での準備① スイッチ先アカウントB での準備 スイッチ元アカウントA での準備② スイッチ元アカウントAからスイッチ先アカウントへスイッチロールする スイッチロールのユースケース 参考 具体的な設定方法を知りたい方は「スイッチロールの手順」をご参照ください。 スイッチロールとは？ ざっくりとしたイメージ 「人んちの帽

はじめに SCSの学習でIAMの奥深さに感動した勢いのまま書く。 注意：個人的な解釈であって絶対的に正しいものではない。 また、個人の責任において記載しているが抜け漏れや間違いがある可能性はあることを理解の上で読んで頂きたい。 正確な解釈は公式ドキュメントのポリシーとアクセス許可を参照。 とはいえこんな長ったるいの読んでられねえし、他ブログ記事の内容も個人的にいまいち腑落ちしなかったため書き残すことにした。 結論 面倒なんで 許可 前提で書く。 当たり前だがサービスが違う。(STSとIAM) 書く場所が違う。 iam:PassRoleは基本的にアイデンティティベースのポリシーに記載する。 sts:AssumeRoleはリソースベースのポリシーに記載する。 後で補足する。 アクションの内容が違う。 iam:PassRoleは あるIAMRoleをEC2インスタンスやLambda関数などのリソ

はじめに AWS Chatbotがカスタム通知をサポートし、通知内容のカスタマイズが可能になりました。 従来ですと、AWS ChatbotからSlackに通知する内容は、CloudWatch アラームの場合、下記のような内容で通知され、通知内容はカスタマイズできませんでした。 日本語変換もできません。 そのため、通知内容をカスタマイズする場合は、AWS Chatbotを利用せず、EventBridgeやLambdaからSlack通知するなどの方法をとられていたと思います。 今回のアップデートでAWS ChatbotからMicrosoft TeamsやSlackチャネルへの通知内容をカスタマイズできるようになりましたので、通知内容の可視性を向上させることができます。AWS Chatbotの利用が増えそうですね。 AWS Chatbotの概要は、下記のブログをご参考ください LambdaからS

はじめに AssumeRoleとはなんぞや！ そう、私はAWSを利用している中でAssumeRoleという言葉の意味がイマイチピンと来ていない人でした。そんな中、会社のAWSマスターさんから色々教わり、AssumeRoleとはなんぞやをやっと(私なりに)理解しました。サンキュー、AWSマスターさん。 要は、AssumeRoleとはなんぞや AssumeRoleとはAWS STSのサービスの1機能のことを指していて、IAMロールに設定した権限を一時的に使えるようにTokenを発行する行為や！ なので、「○○するためにAssumeRoleする」と言う言葉の使い方で通じる。 AWS STS(Security Token Service)は「AWSサービスに対して何かしら操作したい時に、一時的に操作する権利(Token)を発行する」シンプルなサービス。 正確にいうと一時的な認証情報「アクセスキー」

AWS CloudFormation の参照周り(主に Ref や ImportValue ) で意識すべきポイントやTipsを主観で並べてみました。 目次 Ref を使う場面を把握する ImportValue を使う場面を把握する Ref と ImportValue の使う場面の違いを把握する Ref で何の値を返すか調査する GetAtt で何の値を返せるか調査する Outputsセクション で何の値を渡すのかを意識する 擬似パラメータの活用を検討する Mappingsセクション を使った参照を検討する Parameter Store/Secrets Manager を使った参照を検討する おわりに Ref を使う場面を把握する 組み込み関数 Ref は以下の用途で使用します。 Parameters セクション で指定したパラメータの参照 Resources セクション で指定したリソ

本記事は 初夏のAWSアワードエンジニア祭り 1日目の記事です。 🍦 告知記事 ▶▶ 本記事 ▶▶ 2日目 💻 尾澤です。 この度、2023 Japan AWS All Certifications Engineers に選ばれました。 更新が不安です。 というわけで今回はAWSアワードとかはあまり関係ないですが、 私が日頃業務で対峙するECSさんについてお話ししようかと思います。 ECSとは もう今となってはコンテナといえばこれというサービスですね。(?) 改めての説明ですが、 Amazon ECS（Elastic Container Service）は、AWSが提供するコンテナオーケストレーションサービスです。 Webサービスなどを構成する場合、コンテナ単体で動かすにはさまざまな運用課題があるため、 基本的にはオーケストレーションツール（ex: Kubernetes, e）を使いま

Client VPN エンドポイントにはセキュリティグループを関連付けられます。 このセキュリティグループはどのように設定するべきでしょうか？最初に私の考える結論を述べます。 結論 設定ミスによる予期せぬ通信を防ぐため、Client VPN エンドポイント専用のセキュリティグループを作成して適用しましょう。 （VPC に初期設定状態で存在する default セキュリティグループを使用しないようにしましょう。） 当該セキュリティグループにインバウンドルールは不要です。削除しましょう。 また、アウトバウンドルールはすべてのトラフィックを許可する設定にしておくのがオススメです。 セキュリティグループの役割について（おさらい） セキュリティグループは AWS の各種リソースに適用できる仮想ファイアウォールです。 インバウンドルールおよびアウトバウンドルールにプロトコル・送信元（送信先）などを設定

こんにちは佐々木です。以前、『AWSのグローバルIPの空間はインターネットなのか？』と題して、AWSのパブリックIP同士の通信が何故AWSのプライベートネットワークの通信になるのかという話をしました。その中で、PrivateLinkの必要性はどう考えるべきなのかという事に、少しだけ言及しました。今回は、そこをもう少しだけ深ぼって見てみましょう。ユースケースとしても多いであろう、EC2からS3の通信の例でみてみます。 tech.nri-net.com EC2からS3へアクセスする４つのルート EC2からS3へアクセスするルートとしては次の４つがあります Internet Gateway NAT Gateway VPC Endpoint（Gatewayタイプ） PrivateLink（Interfaceタイプ） それぞれの構成と利用に関わる費用をみてみましょう。なお、今回ご紹介するコストは、S

2016/02/05 9:30 ユースケース2 API Gatewayの対応するTLSのバージョンを修正しました。@Keisuke69さんご指摘ありがとうございます！ ども、大瀧です。 Amazon API Gateway、皆さん使ってますか？Lambdaのフロントエンドとして、既存APIのRESTful化&統合として様々なケースで利用できると思います。今回は、そんなAPI GatewayをCloudFrontと組み合わる目的とその注意点をご紹介します。 概要 ご存じの方もいると思いますが、そもそもAPI Gatewayは内部でCloudFrontの仕組みを利用しており、スケーラビリティやアベイラビリティの面でCloudFrontの特徴を享受しています。しかしながら、CloudFrontのフル機能をAPI Gatewayで利用できるわけではないため、場合によっては以下の図のようにAPI G

概要 API Gatewayを使うとき手が届かないむずかゆいところがたくさんあります（HTTPSのみしか受け付けないとか、前段にWAFおけないとか）。 そのときに使われるのがCloudFrontになりますが（もちろん、API Gateway内部にCloudFrontが暗黙的に使われており、多段CloudFrontになるため遅延が大きいというのは承知）、API　Gatewayの前段用にCloudFront使うのもなんなのでS3オリジンの配信もやっちゃいたい、という内容です。 CloudFront + API Gateway + S3 S3はOAI(Object Access Identity)でアクセス制限 API Gatewayはカスタムオリジンヘッダによるアクセス制限はしない めんどいので API Gatewayはキャッシュしない Route53で取得したドメインを利用 ACMで取得した

はじめに API Gateway に対して、直接アクセスした場合と CloudFront 経由アクセスした場合に、レスポンス時間がどの様に変化するかを調査した記事です。 API Gateway を CloudFront 経由でアクセスするパターン 私の場合は、静的リソースの配信 (S3) と、動的リソースの配信 (API Gateway) を同一ドメインで配信できるようにしたい、というのが目的です。 Same-origin policy に起因する課題をそもそも起こさせないにはこの構成を試したい、という感じです。 CORSなどの色々設定しているのですが、そもそも同一ドメインでやれるほうが楽なので。 調査しようと思ったきっかけ いくつかの記事を見かけたのですが、早くなる、遅くなるの両方の記事を見かけたので、自分で実際に環境を作って調べよう！と思ったのがきっかけです。 例えば、以下のような記事