分間10万リクエストを捌く、メール/プッシュ通知 大量配信AWSアーキテクチャ
こんにちは。 株式会社ココナラで技術戦略室を担当しているKと申します。 本記事では、ココナラで使用しているメール/プッシュ通知の配信基盤についてお話ししたいと思います。 この基盤は2年ほど前に構築したものです。 今回記事に取り上げたのは、今後AWSにコストを抑えた上で高速に処理する仕組みを構築する際の参考になるかもしれないと思ったためです。 本記事では、大きく以下の2点をお話しします。 構築に至った背景 アーキテクチャの詳細と結果 前提として、ECサイトと配信の関係 一般的に、ECサイトではマーケティングを目的として、メールやプッシュ通知を配信します。 ユーザーが多ければ多いほど、その配信数も多くなります。 ココナラもスキルのECサイトの構造であり、ユーザー数は300万人を超えています(2022年8月末現在)。 したがって、他のECサイトと同様に多数のメールやプッシュ通知を配信しています。
LambdaのProvisioned Concurrencyの価格を調べてみた - Qiita
この記事は、ハンズラボ Advent Calendar 2019 12日目の記事です はじめに ハンズラボのPOSチームでテックリードをしている @zizi4n5 です ようやく消費税の増税・軽減税率対応なども落ち着いて、先週はラスベガスで開催された AWS re:Invent 2019 に参加してきたのですが、その会場で発表された Lambdaの新機能 Provisioned Concurrency が非常に気になっています。 今まではLambdaの起動時間を早くする（コールドスタートさせない）対策として、定期的にLambdaの実行を行なっているサービスありますよね。 私が担当しているサービスでも、serverless-plugin-warmup を導入してLambdaのwarmupを行なっています。 それが今後は、自前での定期実行やpluginを導せずに素早くLambdaを実行できるよ
「AWSサーバーレスは無限にスケールする？Lambda関数をテーマにサーバーレス環境のバーストトラフィックについて考える🤔」低コストなモダナイズ開発の実践 | Ragate
東京リージョンの場合、1,000を超える同時実行が行われた場合、Lambda関数のAPIは追加の呼び出しをスロットリングします。 Lambda は 1 分間ごとにスケールします 最初のバーストトラフィック発生時に、関数の同時実行数は 1 分ごとにさらに 500 インスタンス増加します。すべてのリクエストを処理できる十分なインスタンス数が確保されるまで、または同時実行数の上限に達するまで続きます。 また、Lambda関数は処理完了後、一定時間を待って追加の呼び出しがなければリソースが解放され、追加の呼び出しがあればそれに応じて処理を行います。（一瞬ホットスタンバイするようなイメージ） Lambda のバーストトラフィックの試算 Lambda関数のバーストトラフィックを試算する際は、一回あたりの処理時間も加味した上で試算を行うことが必要です。例えば、一回あたりの処理が小粒であれば、 1 分当た
AWS LambdaでGolangのWebフレームワークGinを利用してみた｜デロイト トーマツ ウェブサービス株式会社（DWS）公式ブログ
最近は体調管理に一番困っているやっさんでございます。 頭痛や肩こり、そして腰痛。 年齢が上がると人には話しにくい悩みが増えていきますね。 さて、今回はAWS Lambdaで GolangのWebフレームワークGinを利用してみました。 Ginとは GinはGo（Golang）で記述されたWebフレームワークです。 パフォーマンスと優れた生産性が必要な場合は、Ginが気に入るはずです。 AWS Lambda × Ginのメリット AWS LambdaでGinを利用することのメリットを考えてみます。 再利用性と可搬性の向上 Ginを利用することで、再利用性と可搬性が向上します。 GinはWebフレームワークですので、サーバーでも動かすことができます。 少しの修正でAWS Lamdaからコンテナアーキテクチャに変更することも可能になります。 フレームワークの恩恵を享受できる GolangではAW
AWS Lambdaで並列処理を行うことで処理を高速化する(Python編) - Qiita
はじめに みなさんAWS Lambda(以降はLambdaと表記)使ってますか？ Lambdaには対応している言語が複数あるので、Go言語で記述されている方、Node.jsで記述されている方、Pythonで記述されているかたなど、 様々いらっしゃるかと思います。 APIのバックエンドとしてLambdaを設置する場合、Lambdaの処理時間は出来る限り短くしたい、と思われる方がほとんどだと思います。 理由としては、下記が挙げられるかと思います。 API Gatewayの時間制限が29秒のため、29秒を超える処理が出来ない APIの呼び出しに時間がかかると、ユーザービリティを著しく損なう では、Labmbdaの処理時間を短くしたいのですが、方法としては下記があります。 Lambdaの性能を上げる Lambdaの中で並列処理(マルチスレッド化、マルチプロセス化)を行う 今回は、Lambdaでの並
f290ed5d4e305508dc63
注記： re:Invent2019でLambda streamアクセス、エラーハンドルの仕方にupdateが入っております。 起動についてはこちら、エラーハンドルはこちらなど、update情報が落ち着いた後、こちらの記事をupdateしようと思いますので、updateが入っている前提で読んでいただければと思います。 はじめに AWS Lambdaの必要な数を設計するときに、同期/非同期/streamの呼び出しパターンがあるのは、ご存知でしょうか？公式情報はこちら 同期型はイベント駆動型というと理解が早いでしょうか？ API Gateway/S3/CloudTrailをトリガーにした場合の呼び出し方法です。 stream型データ= kinesis streams/DynamoDB Streamsをトリガーにした場合です。 同期型の場合、利用量が増えてくるとAWS Lambdaの同時起動数を増
【Kinesis & Lambda】 サービスを使ったビッグデータ検証で苦労した話 | Casley Deep Innovations株式会社 技術ブログ
こんにちは。 キャスレーコンサルティングの 鈴木 和翔 です。 今回は、現場業務でビッグデータ負荷検証を 「KinesisDataStream & Lambda」 にて検証した際に洗い出された 課題点とそれに対して行った対策案等を紹介して行こうと思います。 負荷条件 今検証での主な負荷条件は以下となります。 ・１レコード(１リクエスト容量) 150KB 程 ・求めるスループット 4000TPS 達成 つまり、どういう流量になるかというと、 1秒間 150KB * 4000(TPS) = 約586MB 1分間 586MB * 60(秒) = 約34GB 1時間 34GB * 60(分) = 約2040GB 1時間に 約2040GBものデータが流れる事となります！ (間違えて自分のアカウントで検証すると一気に破産しますね。。) アーキテクチャ 今検証でのアーキテクチャーの紹介です。 「Kine
【備忘録・まとめ】AWS Lambda 開発者ガイド - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 出典 AWS Lmabda 開発者ガイド まとめ AWSの代表的なFaaS サーバレスアーキテクチャにおける主な計算リソース 入力としてeventと呼ばれるオブジェクトを受け取り、呼び出し元へ値を返す eventはその他のAWSサービスあらゆるところから飛ばして、lambdaを呼び出して返り値を利用できる仕組み オフィシャルのランタイムがある この辺抑えておけばとりあえずは メモリ タイムアウト ロギング（CloudWatch logs） 同時実行数とスロットリング・スケーリング 権限周り バージョニング・エイリアス 呼び出しタイプ 同
Serverless Framework で Flask app をデプロイする - サーバーワークスエンジニアブログ
はじめに こんにちは、技術一課の山中です。 本ブログでは Python の Web フレームワークである Flask を AWS に Serverless Framework を用いてデプロイしてみます。 今回は Amazon Linux 2 上で以下に沿って進めます。 Build a Python REST API with Serverless, Lambda, and DynamoDB Flask とは Flask は Python 用のマイクロ Web 開発フレームワークです。 標準で提供する機能を最小限にしているため、軽量でマイクロフレームワークと呼ばれています。 事前準備 事前に pyenv と pyenv-virtualenv を使って仮想環境を用意しておきます。 $ pyenv virtualenv -p python3.7 3.7.1 flaskenv また、 Serve
Cognito ユーザープールを単独で API GateWay と共に使う - プログラマーのメモ書き
前に書いた記事 Cognito ユーザープール使ってみました - プログラマーのメモ書き では、Cognito ユーザープールを Cognito Identity Pool (Federated Identity) と一緒に使うようなことを書きました。 でも、よくよく考えてみると外部IDプロバイダで認証したIDを使う必要がないなら、Cognito ユーザープールのみを使って、AWSのサービスへは API Gateway 経由でアクセスするのが手っ取り早いのではないかと思い立ちました。 そこで、今回は、Cognito ユーザープールを単独で用いて、ユーザー認証後 API Gateway 経由で Lambda 関数を呼び出す方法を試してみました。 以下は、作業時のメモになります。 なお、Cognito ユーザープールの利用については前回の記事をベースにしているので、詳しくはそちらをご覧ください
Python で パッケージを vendoring しつつ AWS Lambda へデプロイ - Librabuch
Glide で Go 言語のパッケージ管理と vendoring - Librabuch で書いた vendoring のプロセスは現状そこそこうまく回っています。 最近 AWS Lambda のコードを Python で書く機会が多いのですが、ここでも vendoring することにしました。 課題 AWS Lambda で Python の サードパーティ・パッケージを利用する場合、デプロイファイル群の中にパッケージを含める必要があります。よくサンプルでは、プロジェクト直下に pip install requests -t . などとしたのちにプロジェクトのディレクトリごと zip で固める方法が提示されます。 元々、関係無いファイルが含まれるディレクトリごとデプロイするのはあまり上品ではないなぁと思っていたので、対象物だけ明示的に指定するようにしていたのですが、依存パッケージに変化が
AWS Lambda Pythonをローカル環境で実行 | DevelopersIO
AWS Lambda を開発する際には コードを書く Zip で固めてアップロードする サンプルイベントをインプットに Lambda 関数をテスト実行する CloudWatch Logs でログを確認してデバッグ というフローが発生します。 コード修正のたびにこのフローをたどるのはなかなか手間です。 そこで今回は python-lambda-local を使ってローカル環境で AWS Lambda Python の実行環境をエミュレートし、Lambda 関数を実行する方法について解説します。 以下のようにライブラリーパス(-l)、ハンドラー(-f)、タイムアウト(-t)、プログラム、(test.py)、入力イベント(events.json) を指定すると、Lambda 関数をローカル環境で実行できます。 $ python-lambda-local -l lib/ -f handler -t
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
社内Java8勉強会 ラムダ式とストリームAPI