ストリーム処理のエラー制御がより柔軟に！！Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでチェックポイントが利用可能になりました #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaで新たに「チェックポイント」が利用できるようになり、処理が「途中まで成功した」という情報をLambdaだけで管理できるようになりました。 さっそく試してみたいと思います。 何が嬉しいのか？ Kinesis Data Streams/DynamoDB Streamsから起動するLambdaのイベントデータには、「バッチ」という処理単位で複数レコードの情報が渡ってきます。これまでLambda単体ではバッチ全体での処理成功/失敗しか表現できず、レコード単位での処理成功/失敗を管理するには別途DynamoDBなどを利用する必要がありました。 バッチの途中で処理が異常終了するケースについて考えてみましょう。例えば10レコードがLambdaに渡ってきた場合に7レコードまで処
DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた | DevelopersIO
コンバンハ、千葉（幸）です。 DynamoDB テーブルの中身を S3 バケットにエクスポートしたい、という場合があるかと思います。S3 にエクスポートしたものに対して、例えば Athena を利用して解析をかけたい、といったケースです。 AWS Glue や AWS Step Functions を利用して、定期的にエクスポートを行う仕組みについて以下のブログで紹介されているので、試してみました。 CloudFormation テンプレートや スクリプトが用意されているので、一通り流すだけでできます。 全体像としては以下のイメージです。 Data Pipeline, EMR, Glue の比較 Step Functions の Glue Workflow への置き換え Glue ETL スクリプトの 各種バージョン Glue ETL スクリプトのDynamoDB 読み取り並列度 目次 D
「ハイトラフィック運用 〜スループットの向上を目指して〜」という話をしました #devio2020 | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 さて弊社では昨日よりDevelopersIO2020 〜connect〜というイベントが開かれています。 セッションもりもりだよ！ あつまれー！https://t.co/viwYQqiKG7#devio2020_connect — 深澤俊 (@shun_quartet) June 3, 2020 その中で僕は「ハイトラフィック運用 〜スループットの向上を目指して〜」という話でセッションさせていただいたので本ブログではその発表した内容を資料と共にご紹介します！ 動画 資料 セッション内容 今回扱うこと、扱わないこと 今回は観点をメインに紹介します。 それぞれのエンジン等による細かい違いやチューニング方法には触れません。 例：MySQLとPostgras等 メトリクスはCloudWatchのものをご紹介します。 今回はあくまで概要と基本です。
Amazon DynamoDB、AWS Lambda、および Go を使用してエンタープライズアプリケーションを構築する | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB、AWS Lambda、および Go を使用してエンタープライズアプリケーションを構築する Amazon DynamoDB は、あらゆる規模で 1 桁のミリ秒のパフォーマンスを提供する、完全マネージド型サービスです。完全マネージド型で、舞台裏のマルチ AZ データレプリケーションを通じて高可用性を実現し、Amazon DynamoDB Accelerator (DAX) および複数のグローバルセカンダリインデックスを使用したネイティブライトスルーキャッシングをサポートします。開発者は、この投稿の焦点である Go を含む豊富なプログラミング言語のセットで AWS SDK を使用し、DynamoDB と対話できます。 この投稿では、CRUD を集中的に使用するアプリケーションに対して固有の使用例と、DynamoDB、
AWS LambdaとDynamoDBがこんなにツライ時代ではない - めもおきば
ありがたいことに、3年前に#ssmjp 2017/06で話したスライド AWS LambdaとDynamoDBがこんなにツライはずがない #ssmjp をTwitterで紹介して頂いた*1 ようで、当時から大幅に改善しているところを振り返りたいと思います。あと、ついでに最近やっているAzureに関しても少し触れていきます。 サーバーレスアーキテクチャ #とは 当時はこう説明したのですが、今でもそんなに悪くない表現かなと思います。 書籍は現在「Serverlessを支える技術 第3版」まで出ていますので、BOOTHからどうぞ（隙あらばダイマしていく方針）。 サーバーレス三種の神器 今このスライドを作るなら、認証認可の話を入れるかなと思います。システム内のAWS IAMとクライアント側のCognitoどちらも重要です。 ちなみにAzureを含めておさらいすると、こんな感じの対応になります。 勝
Lambda でアトミックなロック処理を実装する
Lambda はステートレスで冪等性のある処理に向いていますが、処理によっては排他制御を必要とする場合があります。排他制御にはアトミックなロック処理が欠かせませんが、Lambda のアーキテクチャでは少し工夫が必要です。 というのも、Lambda 関数が実行されるインスタンスは常に再利用されるとは限らないため、ロックの状態は Lambda の外で管理しなければなりません。 DynamoDB をロックマネージャーとして使う いろいろ調べたところ、DynamoDB の条件付き書き込みを使うのが良さそうです。 条件付き書き込みを使用すると、オペレーションが成功するのは、項目の属性が 1 つ以上の想定条件を満たす場合のみです。それ以外の場合は、エラーが返されます。 @imaifactory さんの Qiita 記事「DynamoDB をロックマネージャーとして使う」がとてもわかりやすいです。ロック
cookpad storeTV の広告配信を支えるリアルタイムログ集計基盤 - クックパッド開発者ブログ
こんにちは。メディアプロダクト開発部の我妻謙樹（id:kenju）です。 サーバーサイドエンジニアとして、広告配信システムの開発・運用を担当しています。 今回は、cookpad storeTV （以下略：storeTV ）の広告商品における、リアルタイムログ集計基盤の紹介をします。 storeTV における広告開発 storeTV とは？ storeTV は、スーパーで料理動画を流すサービスで、店頭に独自の Android 端末を設置し、その売り場に適したレシピ動画を再生するサービスです。 より詳しいサービス概要にについては、弊社メンバーの Cookpad TechConf 2018 における以下の発表スライドを御覧ください。 storeTV における広告商品の概要 storeTV では、imp 保証型の広告商品を提供予定です。imp 保証型の広告商品とは、例えば「週に N 回広告を表示す
S3をトリガーとするLambdaの冪等性をDynamoDBで実現してみた | DevelopersIO
どうも！AWS勉強中の西村祐二＠大阪です。 みなさんLambdaは使ってますでしょうか。 サーバレスでいろんなことができるので個人的にかなり好きなサービスです。 Lambdaは様々な使い方ができますが S3と連携してファイルがアップロードされたらLambdaで 何かしらの処理を実行するなどの使い方をしている方多いのではないでしょうか。 そんな時に重要になってくるのが冪等性です。 今回はLambdaの冪等性をDynamoDBの条件付き書き込みという機能を利用して 冪等性を実現してみたいと思います。 なんで冪等性が必要なのか Lambdaはたまに2回以上実行されるときがあるからです 例えば Lambdaでアクセスログの集計処理などを行っている場合、 複数回処理されると複数回集計されて結果がおかしくなるときがあります。 また、複数のファイルをまとめてアップロードした際に 何らかの理由で一部のファ
DynamoDB + Lambda + SSM でテストサーバーをポコポコつくる仕組み - KAYAC engineers' blog
はじめまして。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、クライアントワークで運用している、テストサイトの仕組みに関して書きます。 「テストサイト」の概要 クライアントワークでは、日々たくさんの案件を開発しています。 それぞれの案件では、多くの場合、Webサイトもしくは、WebAPIを公開するためのサーバーが必要になります。 実際の公開時には、案件ごとに専用のクラウドコンピューティングサービスを契約し、セットアップすることになりますが、 利用して良いサービスの確認が必要であったり、サービスの契約まで時間がかかったりするため、すぐには決まらない場合があります。そのため、開発時や検証時には、カヤック側でテストサイトを用意し、確認やプレビューを行っています。 さらに以下のような要望にも対応する必要があります。 出来るだけ時間をかけず開発環境を用意したい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オンプレミス環境からAWSのサーバーレスにリプレイスした話 - DMM inside