10倍スパイクの速報時に耐えうるAPIのスケーリングの仕組み - Gunosy Tech Blog
広告技術部のUT@mocyutoです Gunosyではニュース記事を配信運用するメディア部門とアプリ上などに広告を配信運用する広告部門があります。 （本記事では「メディア」とはグノシーやニュースパスなどのサービスを指し、「広告」はそのメディアに出す広告を指します。） 今回は広告部門が運用している広告システムのスケールの仕組みについて紹介します。 課題 解決策 仕組み スパイクスケーリング スケジュールスケーリング スケールのロジックを記述 まとめ 課題 メディア側のシステムは各サービスごとにチームが分かれており、それぞれ別のシステムで稼働しています。 しかし、広告側のシステムは単一のシステムで動いており、各メディアの広告配信すべてを担っています。 そのため、サービスが増えるごとにトラフィックが増える仕様になっています。 特に速報などのプッシュ通知をメディアが送信すると一気にユーザはアプリを
[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO
[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 こんにちは。サービスグループの武田です。開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 こんにちは。サービスグループの武田です。 開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 何度か配信がありますので視聴したい方はスケジュールを確認してみてください。 AWS re:Invent 2020 セッション概要
![[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1fc8bce7c66555564f1e060e786724d616daf7d8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-session-report.jpg)
AWS Lambdaの裏側をなるだけ詳しく解説してみる - Sweet Escape
AWS Lambdaの環境がどのようになっているか、ユーザが用意したLambdaファンクションがどんな感じで実行されるかってあたりを可能な限り詳しく説明したいと思います。 はじめに 大前提 コールドスタート/ウォームスタート コントロールプレーン/データプレーン アイソレーション AWS Lambdaのコンポーネント群 同期実行かつ初回呼び出し（コールドスタート）、もしくはスケーリング 同期実行かつ再利用（ウォームスタート） 非同期実行 スケールアップ エラーハンドリング リトライ その他 ネットワーク まとめ はじめに この投稿は2020年9月29日の21時から開催予定のイベント（ライブストリーミング）で話す内容です。 serverless-newworld.connpass.com もし間に合えば、かつ時間があればぜひライブ配信のほうにも参加ください。 （2020.09.30 upda
AWS Lambda関数の状態の追跡 | Amazon Web Services
Amazon Web Services ブログ AWS Lambda関数の状態の追跡 本投稿は、AWS Lambda の Senior Developer Advocate, Chris Munns の寄稿によるものです。 AWS Lambda関数は、AWS Identity and Access Management（IAM）ロールやAmazon Virtual Private Cloud（Amazon VPC）、ネットワークインターフェイスなど、正常に実行するために他のAWSサービスのリソースを必要とすることがよくあります。関数を作成または更新すると、Lambdaはユーザーに代わって、関数の実行を可能にするのに必要なリソースをプロビジョニングします。ほとんどの場合、このプロセスは非常に高速で、関数を呼び出したり変更する準備はすぐにできます。ただし、この種のアクションで時間がかかってしま
GitHub Actions の Composite Run Steps で ecspresso / lambroll をインストールする action を作った - 酒日記 はてな支店
要約 GitHub Actions に Amazon ECS デプロイツール ecspresso と AWS Lambda デプロイツール lambroll を簡単にインストール action を用意しました。 steps で以下の指定をするだけです。(Linux 環境専用です) - uses: kayac/ecspresso@v0 - uses: fujiwara/lambroll@v0 もうちょっと詳しく これまで GitHub Actions の action は基本的に Node で書く必要があったのですが、やりたいことはバイナリをダウンロードして展開してコピーするだけなのになんで Node を書かないといけないのか……(Linux以外の環境を考えると仕方ないとはいえ)、と面倒くささが先に立って、これまで action を作らないままでした。 が、先日 Composite Run
FirehoseのHTTP配信機能でMackerelにメトリックを投稿する - 酒日記 はてな支店
先日、Amazon Kinesis Data Firehose が任意の HTTP エンドポイントに対しての配信機能をサポートしました。 aws.amazon.com 従来の S3 / Redshift / Elasticsearch Service などのマネージドなリソースに対してデータを配信する機能に加えて、自分で作った HTTP(s) のエンドポイントに対しても Firehose からデータを投げ込んでくれる機能です。 Amazon Kinesis Data Firehose now supports data delivery to Datadog 既に Datadog や New Relic へもマネージドでデータを配信できていて、それらに送りたいデータはとりあえず Firehose に流しておけば、実際の送信やバッファリングやリトライは Firehose が面倒を見てくれると
Using Amazon RDS Proxy with AWS Lambda | Amazon Web Services
AWS Compute Blog Using Amazon RDS Proxy with AWS Lambda Update – June 30, 2020: Amazon RDS Proxy support for MySQL and PostgreSQL is now generally available. Update – April 8, 2020: We have announced Postgres compatibility with the Amazon RDS Proxy. Version 10.11 and 11.5 are supported in the preview. The AWS Serverless platform allows you to build applications that automatically scale in response
Serverless Golang APIs in 60 seconds
In this brief post I’ll illustrate how quick it is to have production-ready serverless environment for any Golang application or API using Apex Up. This post assumes you have AWS credentials configured on your machine, as Up deploys to AWS Lambda and API Gateway. Up works great with any Go app, there’s no need to rewrite your application to be purpose-built for serverless, but if you’d like to fol
Build a serverless website from scratch using S3, API Gateway, AWS Lambda, Go and Terraform
In this guide we will leverage AWS to build a completely serverless website (frontend and backend api) using S3, API Gateway and Lambda. We will use Terraform to set up our AWS resources and we’ll use Go as our programming language for the lambda function. For the frontend we will write a static html and javascript/jquery file (stored in S3) that will communicate with our lambda function. The goal
AWS SAM + DynamoDB Local + Go で始めるサーバレスアプリケーション開発 - エムスリーテックブログ
この記事は エムスリー Advent Calendar 2018 6日目の記事です。 こんにちは、エムスリー エンジニアリンググループの大和です。 普段は Spring Boot (Java + Kotlin) を使用したサーバサイド開発をしていますが、この度 AWS Lambda を使用したアプリケーション開発を行うことになったため、開発環境を整えるところまでを記事にしたいと思います。 今回は、例として次のシンプルな構成のアプリケーションを作成していきます。 アプリケーション構成 AWS SAM とは AWS SAM (Serverless Application Model) とは、AWS 上でサーバーレスアプリケーションを構築するために使用できるフレームワークです*1。 YAML もしくは JSON 形式 (正確には AWS CloudFormation のテンプレート) で構成を記
Serverless Microservice Patterns for AWS - Jeremy Daly
Serverless Microservice Patterns for AWS Serverless microservices allow us to do some pretty amazing things. This post outlines 19 common patterns that are being used in production on AWS. UPDATE: I've started the Serverless Reference Architectures Project that provides additional context and interactive architectures for some of theses patterns along with code examples to deploy them to AWS. Chec
Lambda@Edge で CloudFront キャッシュヒット率を向上させるんや！ | DevelopersIO
CloudFront はクエリ文字列毎のキャッシュが可能ですが、パラメータの順序、大文字小文字の違いによって、別のキャッシュと判断されます。Lambda@Edge でクエリ文字列を標準化し、キャッシュヒット率を向上させる方法をご紹介します。 みなさん、Lambda@Edge 使ってますか！？「いまいち使い所がわからない・・・」という方も少なくないのではないでしょうか？今回はユースケースの一例として、クエリ文字列を標準化することでキャッシュヒット率を向上させる方法についてご紹介したいと思います。 クエリ文字列のキャッシュについて理解する CloudFront では Query String Forwarding and Caching の設定により、クエリ文字列パラメータに基づいて個別にキャッシュすることが可能ですが、ここで注意したいポイントは、パラメータの順番や、大文字小文字のレベルで別の
Home
👋 Hi, I'm Yos. Navigating the idea maze and building in web3 ☀️ How to Replace the Bytecode of Deployed Solidity Contracts Sunday, 07 Aug 2022 · 4 min read · ethereum solidity solhint What if there is a hardcoded contract address in another contract you need to test? External dependencies in smart contracts are sometimes stored as immutable and constant variables: contract Vault { // An external
AWS Lambda での Go サポート開始
Go を使用した AWS Lambda 関数コードの開発が可能になりました。 Lambda を使用することで、サーバーをプロビジョニングおよび管理することなく、コードを実行できます。AWS CLI または Lambda コンソールを介して ZIP ファイルとして Go の実行可能成果物をアップロードし、 go1.x ランタイムを選択するのみです。Lambda を用いることで、コードのビルドとパッケージングに Go のネイティブツールを使用できます。さらに詳しくは、ドキュメントを参照してください。 Go で作成されたサーバーレスアプリケーションの実装と管理に AWS Serverless Application Model (SAM) を使用することもできます。そして、AWS CodeStar の Go テンプレートにより、開発全体の設定が容易になり、サーバーレスアプリケーションに引き続きツ
Go による Lambda 関数の構築 - AWS Lambda
Go は、他のマネージドランタイムとは異なる方法で実装されています。Go はネイティブコードにコンパイルされるため、Lambda は Go をカスタムランタイムとして扱います。provided.al2 ランタイムを使用して Go 関数を Lambda にデプロイすることをお勧めします。 Go ランタイムのサポート Lambda 用の Go 1.x マネージドランタイムは Amazon Linux AMI (AL1) に基づいています。Amazon Linux AMI のメンテナンスサポートが 2023 年 12 月 31 日に終了するまで、Lambda は引き続き Go 1.x マネージドランタイムをサポートします。Go 1.x ランタイムを使用している場合は、関数を provided.al2 に移行する必要があります。この移行ではコードの変更は必要ありません。必要な変更は、デプロイパッケ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - aws-samples/aws-step-functions-long-lived-transactions: Deal with the complexities of dealing with a long lived transaction across distributed components in your microservices architecture using AWS Step Functions.
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
Go Serverless with SAM