ALBのアクセスログ約10分程度のタイムラグでAthena解析可能にする仕組みを紹介します | DevelopersIO
ALBのアクセスログを Lambdaを利用して CloudWatchLogsに転送し、CloudWatch Logs Insights で分析してみました。 AWSチームのすずきです。 前回の記事では、Athenaで効率的な解析を可能にするFirehoseについて紹介させて頂きました。 今回、Firehoseへのログ登録と、Athena/Glue のパーティション更新を自動化し、 10分程度のタイムラグで Athena を利用した ALBのアクセスログ解析を可能にする仕組みを紹介します。 Firehoseで Parquet形式に変換したALBのアクセスログをAthenaで解析してみた 構成図 AWS設定 S3 ALBのアクセスログ、5分ごとに各ノードが一斉にログファイルを出力する仕様です。 S3イベントから直接Firehoseの登録を実行した場合、5分ごとのログ出力直後にFirehoseの
[アップデート]EventBridgeのクイックスタートでGitHub、Stripe、Twilioとのイベント連携が簡単に作れるようになりました！ | DevelopersIO
[アップデート]EventBridgeのクイックスタートでGitHub、Stripe、Twilioとのイベント連携が簡単に作れるようになりました！ EventBridgeのクイックスタートでGitHub、Stripe、Twilioとのイベント連携が簡単に作れるようになりました！実際にGitHubと連携する際の動きを確認しています、 はじめに CX事業本部の佐藤智樹です。 今回は、EventBridgeのクイックスタートでSaaS(GitHub、Stripe、Twilio)とAWSサービスの連携が簡単に作れるようになったので紹介します。全体の流れはほぼ共通ですがSaaSごとにシークレットの登録などは異なるため、本記事ではGitHubとの連携を中心的に紹介します。 具体的な構成 CloudFormationによってSaaSの Webhook に対応するLambdaとFunction URLsが
![[アップデート]EventBridgeのクイックスタートでGitHub、Stripe、Twilioとのイベント連携が簡単に作れるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/274560d9bf1d54d3b3dcd0aa5fb18ee0bb06160e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F01%2Famazon-eventbridge.png)
こんにちは、CX事業本部の夏目です。 AWS LambdaとServerless #1 Advent Calendar 2019 - Qiitaということで、今回はサーバーレスで軽く負荷分散みたいなのを実装してみようと思います。 やりたいこと ユーザーごとにS3にJSONファイルを置いている 同時実行数を1に制限したSQSトリガーのLambdaを使って、同じファイルに対して同時書き込みが起きないように制限している これをある程度並列で動かせるようにする 構成 同時実行数を1に制限したSQSトリガーのLambdaを複数用意して処理を分散させる 一つのキューから複数のLambdaが生えているのではない Lambdaとキューの組がいっぱい Lambdaの実態としてのコードは同じものを使用する 同じLambdaがいっぱい ユーザーのデータを書き込むのに直近でしようしたキューはDynamoDBに保存
どの Lambda 関数でどのくらいの予約された同時実行（concurrency）の設定を行ったか確認する方法 | DevelopersIO
こんにちは、アノテーションの及川です。 Lambda 関数における、フルアカウントの同時実行（Full account concurrency）と予約されていないアカウントの同時実行（Unreserved account concurrency）を管理しているときに以下のような事でお困りになったことはありませんか。 お困りごと 「Lambda 関数を多く作りすぎて、どの Lambda 関数でどのくらいの予約された同時実行（concurrency）の設定を行ったか忘れて把握できていない」 「マネジメントコンソールで 作成した Lambda 関数について、1 つずつクリックして設定内容を確認するのは面倒だ」 今回は上記のような、Lambda 関数を多く作りすぎて、どの Lambda 関数でどのくらいの予約された同時実行（concurrency）の設定を行ったか分からなくなった場合の対処方法の一
AWS Lambda の予約済同時実行数の設定によるテナント多層化戦略の実装 | Amazon Web Services
Amazon Web Services ブログ AWS Lambda の予約済同時実行数の設定によるテナント多層化戦略の実装 AWS Lambda の機能である予約済同時実行数の設定は、Lambda 関数の同時に実行されるインスタンスの最大数を保証します。 この記事では、この機能を活用してマルチテナントの SaaS (Software-as-a-Service) アプリケーションの多層化戦略を定義する方法を探り、実装例について説明します。AWS Lambda 関数を使用するメリットはたくさんあります。SaaS (および一般的なサービス) をサーバーレス構成でデプロイすることで、アーキテクチャと運用業務が簡素化され、付加価値を生まない重労働を軽減できます。 アマゾンウェブサービス (AWS) 上 のサーバーレス SaaS についてさらに知りたい場合は、AWS サーバーレスサービスによるマルチ
【AWS CDK】Lambda の Provisioned Concurrency を設定する | DevelopersIO
はじめに テントの中から失礼します、CX事業本部のてんとタカハシです！ 今回は、AWS CDK で Lambda の Provisioned Concurrency を設定してみました。 Provisioned Concurrency の概要については下記の記事をご参照ください。 ソースコードは下記のリポジトリにも置いてあります。 GitHub - iam326/cdk-lambda-provisioned-concurrency 環境 環境は下記の通りです。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.7 BuildVersion: 19H2 $ cdk --version 1.86.0 (build a10cfcf) $ yarn --version 1.22.10 $ node --version v14.7.0 実装
20190814 AWS Black Belt Online Seminar AWS Serverless Application Mod…
20190814 AWS Black Belt Online Seminar AWS Serverless Application Model 1. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS 公式 Webinar https://amzn.to/JPWebinar 過去資料 https://amzn.to/JPArchive Solutions Architect 今村 優太 2019/8/14 AWS Serverless Application Model (AWS SAM) サービスカットシリーズ [AWS Black Belt
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQSとDynamoDBを使ってサーバーレスな処理の負荷を分散させてみる | DevelopersIO