こちらの記事はRDS ProxyがGAされる前に執筆した記事です。現在はLambdaからRDSを利用する場合、間にRDS Proxyを挟むという選択肢が増えているので、まずはRDS Proxyを使う/使わないの検討をお願いします。以後で紹介しているトピックの一部はRDS Proxy利用時は考え方が変わってきます。 CX事業本部@大阪の岩田です。私が現在関わっているプロジェクトではLambda × RDSというアーキテクチャを採用して開発を進めています。開発を進める中でLambda × RDS(RDB)という構成についてある程度ノウハウが貯まってきたので、注意したいポイントやオススメの設定をTIPS的に紹介していきます。 環境 以後の説明では以下の環境の一部もしくは組み合わせを利用しています。具体的なコードやSQLの例はプログラミング言語やDBエンジンに依存しますが、根底の考え方はどの言語、

ありがたいことに、3年前に#ssmjp 2017/06で話したスライド AWS LambdaとDynamoDBがこんなにツライはずがない #ssmjp をTwitterで紹介して頂いた*1 ようで、当時から大幅に改善しているところを振り返りたいと思います。あと、ついでに最近やっているAzureに関しても少し触れていきます。 サーバーレスアーキテクチャ #とは 当時はこう説明したのですが、今でもそんなに悪くない表現かなと思います。 書籍は現在「Serverlessを支える技術 第3版」まで出ていますので、BOOTHからどうぞ（隙あらばダイマしていく方針）。 サーバーレス三種の神器 今このスライドを作るなら、認証認可の話を入れるかなと思います。システム内のAWS IAMとクライアント側のCognitoどちらも重要です。 ちなみにAzureを含めておさらいすると、こんな感じの対応になります。 勝

技術部 SRE グループの mozamimy です。 クックパッドでは、 SRE が中心となって、サービスを動かす基盤の大部分である AWS のコスト最適化を組織的に取り組んでいます。 昨年夏に公開した記事である、インフラのコスト最適化の重要性と RI (リザーブドインスタンス) の維持管理におけるクックパッドでの取り組みでは、 なぜインフラのコスト最適化が必要なのか、具体的にどのような考え方に沿って進めてゆけばよいのか。 SRE が一括して管理する AWS のリソースプールそのもののコスト最適化を実践するための具体的な取り組みの一例として、RI のモニタリングや異常時の対応フローによる維持管理。 といった話題にフォーカスしました。 今回は、インフラにかかるコストを正しく「説明」するための取り組みということで、コスト最適化に貢献する社内アプリケーションである Costco (Cost Co

『Real World HTTP 第2版』で知ったのですが、GETリクエストにはメッセージボディを含めることができます。 より具体的には、HTTP/1.1の一世代前の仕様RFC2616 *1では、「サーバーはメッセージボディを読み込める必要はあるが、リクエストされたメソッドがボディのセマンティクスを定めていない場合は、リクエストの処理時にメッセージボディは無視されるべき」と書かれており、最新のRFC7231 *2では、「ペイロードのボディを持つことはできるが、実装によってはサーバーがこれを受け取らずに拒否することがありえる」と書かれています。(カッコ内は同書から引用) ALB は 何もせず、CloudFront は403を返す 意図せずリクエストが拒否されると困ります。 普段触れる機会の多い AWS のマネージドサービスがどのように振る舞うのか確認したところ、Application Loa

2020.04.01 追記 公式より GA のアナウンスがありました。 ・Amazon Detective is now generally available いつからか正確にわからないのですが、昨晩、ポチポチと AWS コンソールを触っていたら Amazon Detective が利用可能になっていることに気づきました！ Amazon Detective はプライベートプレビューでしたので、プレビューの利用申請が必要だったと思うのですが、特に申請していない私のアカウントでも利用できています ドキュメントにも「プレビューで許可されたアカウントのみ API が実行できる」と書いてますので、許可されてないアカウントでも利用できている今の状況は拡大解釈すると GA? Amazon Detective is currently in preview. The Detective API can

こんにちは、臼田です。 皆さん、WAFWAFしてますか？(挨拶 今回はタイトル通りAWS WAFを完全に理解するための情報を全部詰め込んだブログです。長いです。 そもそもWAFってなんだっけ？という話から初めて「全部理解した」と言えるようになるまでをまとめています。直近AWS WAF v2がリリースされたため、この変更点を中心に機能の説明をします。 Developers.IOではWAFを扱った記事がたくさんあるので、細かいところはブログを引用します。いわゆる元気玉ブログです。 おさらい的な部分も多いので変更点が気になる方は適当に飛ばしてください。 そもそもWAFとは AWS WAFの前にWAFの話をします。WAFはWeb Application Firewallの略でWebアプリケーションを保護するためのソリューションです。 一般的なWebアプリケーションに対する攻撃手法としてSQLインジ

こんにちは、 株式会社アプリボット、バックエンドエンジニアの小川詩織です。 今回はgolangで開発中の新規プロジェクトのため、ElasticacheRedisに関する検証を行いました。 かなり長くなってしまいましたが、参考にしていただければ幸いです。 以下、検証内容になります。 まえおき 検証のための実装にはgolangを用い、 go-redisによるElasticache Redisについての検証になります。 また、ゲームで良く活用される Ranking機能 の実装を想定した検証を行いました。 Ranking機能実装のためにRedisは ソート済みセット型 を用います。 Ranking機能についての想定なので、同一ランキングはkeyも同一になり、 Shardを増やしても負荷分散できないため全て Shard=1 として検証を行います。 また、Redisの 要素数は1000万件 用意しまし

ログ分析勉強会 vol.2 https://loganalytics.connpass.com/event/157354/ の資料です

皆さん、EKS始めるときeksctl使ってますか？コマンド一発でAWS関連リソースやインフラ一式できあがる超便利ツールですが、逆に個別のAWSリソースがどのように作成されているか、クラスターに紐づくVPCやNodeにはどのような制約があるのか、IAM周辺がどのように処理されているのか、そのあたり隠蔽され…

プラットフォームの上でものを作るということ Amazon EKS Advent Calendar 2019 の最終日です. みなさまご存知の通り、AWS には Amazon ECS と Amazon EKS という2つのコンテナオーケストレーションに関するサービスがあります. ECS は2014年に発表された AWS ネイティブなコンテナオーケストレータ、EKS は OSS のコンテナオーケストレータである Kubernetes をマネージドな形で提供するサービスで、2017年に発表されました. 今日はこの Amazon ECS と Amazon EKS という2つのサービスについての話を書こうと思います. // 読んでくださっているみなさまをミスリードしないための DISCLAIMER 本記事の著者は AWS に勤めています. また、この記事には僕個人の意見や想いも強くこもっています.

DMMグループ Advent Calendar 2019 - Qiita の25日目です TL;DR AWSで3層アーキテクチャのサービスを構築するテンプレート（ここではスターターキットと呼びます）を公開しました。 利用するコンポーネントとしては主にAWSのALB・ECS/Fargate・Aurora、Dockerとローカル環境用にdocker-compose、IaCにTerraformを利用しています。 導入や既存メンバーのためのスターターキットで使用するコンポーネントの入門用ドキュメントを備えています。 概要 y-ohgi.github.io/starterkit にgitbookとしてドキュメントを公開しているのでそちらを閲覧してください。 サンプルとしてGolang・ECS/Fargate・Aurora（MySQL）で構築をしています。 また、RailsやNextなど、コンテナベー

個人的な感触ですが、ECSとEKSを並べてみた場合、ものすごい単純に以下の感想でした。 「できることはEKSのほうが多い。けど、そのぶん習得がECSより難しい」 よく考えるとこの「難しい」という単語、簡単に使ってしまいがちなんですが使い方を間違えると非常に危険な言葉だとも思ってます。それは「誰にとっての難易度か？」という観点が抜け落ちがちだから。 AWSにおいてコンテナワークロードを展開しようと検討する人は様々いると思いますし、その組織や担当者の技術スタックも千差万別でしょう。kubernetesの経験は豊富だけれどAWSの経験はあんまりない、またはその逆、もしくはDockerは散々さわっているけれど、オーケストレーションツール自体が初めての人など。 自分の現場経験はECSのほうがEKSより圧倒的に多く、今でも「EKSってやっぱりなんか敷居高いなぁ」と感じてます。でも、よくよく思い出すと最

知らなかった事を後悔した。既存のリソースからCloudFormationのテンプレート生成 Former2 の紹介 #reinvent 2019 What’s New in AWS CloudFormation を聴講した際にCloudFormationのImportの機能で、既存の環境に適用しようとした場合、既存のリソースに合わせた設定値のテンプレートを作成して設定値をすり合わせる作業が必要になってくるので若干躊躇してました。 ただここは、ラスベガス現地参加の強み！ということで スピーカーに弊社メンバーで疑問を質問しにいってみました。Let's Ask the Speaker! https://dev.classmethod.jp/cloud/aws/cloud-formation-dop408/ Q: 永遠にベータのCloudFormerはいつアップデートされるんですか？ A: よく聞

Recruit Engineers Advent Calendar 2019 本記事は Recruit Engineers Advent Calendar 2019 6日目の記事です。 adventar.org 昨日の記事はPoohSunnyさんの、 poohsunny.hatenablog.com でした。 もくじ Recruit Engineers Advent Calendar 2019 もくじ Amazon SESとは Amazon SESでできること / できないこと できること できないこと ベストプラクティス&アンチパターン メールを送るとき 上限値・サンドボックス制限 送信方法 SendRawEmailの挙動 専用IPアドレス 送信ログ取得 メールを受け取るとき 受信設定 受信ルール / 受信ルールセットについて 受信ルール 受信ルールセット Eメール受信イベントのハンドリ

EC2のイメージ作成を劇的に効率化するEC2 Image Builderが発表されました！ #reinvent EC2のイメージ作成を自動化するEC2 Image Builderが発表されました！ 「イメージの定期更新、いつも俺がやってるねんけど、これめんどくさい…」 何らかのカスタムしたEC2イメージを利用してシステムを運用している場合、そのイメージのメンテナンスは非常に手間がかかるものです。イメージにはいろんなアプリケーションが含まれますが、それらの更新をせずに放置したイメージを使い続けると、システム全体のセキュリティリスクが増大してしまいます。 そんな手間を一気に解決させるサービスが、今般、AWSからリリースされたEC2 Image Builderです。 Automate OS Image Build Pipelines with EC2 Image Builder | AWS Ne

こんにちは。コンサル部のテウです。 カオスエンジニアリングの主なターゲットとしては Server-based のことが多いですが、Serverless 環境でのカオスエンジニアリングが簡単にできる python ベースのライブラリーが公開されています。今回はこのライブラリーを試してみたのでの紹介記事となります。 目次 Chaos Lambda (Chaos Injection for AWS Lambda) とは 先日AWSJで開催された Chaos Engineering Recap 2019 のセッションの一つで紹介されたこの Chaos Lambda というライブラリーはAWSで Principal Evangelist として働いている Adrian Hornsbyさんが開発したライブラリーです。Githubで公開されたライブラリーですが、Lambda環境で簡単にカオスエンジニアリ

AWS Big Data Blog Query any data source with Amazon Athena’s new federated query April 2024: This post was reviewed for accuracy. Organizations today use data stores that are the best fit for the applications they build. For example, for an organization building a social network, a graph database such as Amazon Neptune is likely the best fit when compared to a relational database. Similarly, for w

AWS Lambda now supports four failure-handling features for processing Kinesis and DynamoDB streams: Bisect on Function Error, Maximum Record Age, Maximum Retry Attempts, and Destination on Failure. These new features allow you to customize responses to data processing failures and build more resilient stream processing applications. Lambda processes data records from Kinesis and DynamoDB streams i

AWS再入門2019AWS WAF編ということで、AWS WAFの知見を共有したいと思います。主なトピックは「WAF全般のこと」「AWS WAFの基本」「AWS WAFマネージドルール」「WafCharm」です。 AWS再入門2019AWS WAF編ということで、AWS WAFの知見を共有したいと思います。主なトピックは以下の通りです。 WAF全般のこと AWS WAFの基本 AWS WAFマネージドルール WafCharm WAF全般のこと WAFに期待される主な働きは、悪意のある通信をブロックし、悪意のない通信を許可することです。実際に可能な動作は、通信がWAFを通過する時にルールに一致する場合はブロックまたは許可するものです。ブロックまたは許可したい通信とWAFのルールが一致するとは限りません。WAFを導入していても、悪意のある通信が通過する可能性はありますし、正しいユーザーの通信を

とうとうきてしまいました！ とうとう、ALB一つだけでターゲットグループの重み付けが出来るようになってしまいました！！！！ ALBでターゲットグループの重み付けができるようになり、Route53で設定しなくても良くなりました。 AWSエンジニアは朝5時に起きるらしいと聞いていましたが、まさか自分がそっち側に回るとは思ってもいなかったもこ@札幌オフィスです。 とうとうきてしまいました！ とうとう、ALB一つだけでターゲットグループの重み付けが出来るようになってしまいました！！！！ Application Load Balancer simplifies deployments with support for weighted target groups New – Application Load Balancer Simplifies Deployment with Weighted T