DynamoDBのテーブルを1つだけにする設計のコツ（考え方編） - @mizumotokのブログ
DynamoDBは高速でスケーラブルでとても便利なデータベースです。便利なのですが、テーブル設計にはRDBMSのノウハウをそのまま使えません。例えば、DynamoDBではテーブルを１つだけにすることが推奨されています。テーブルを１つだけにする設計手法について考えてみましょう。 DynamoDBの特長 できるだけ少ないテーブル数で 1つのテーブルでの設計例 データの収集 クエリの洗い出し １つのテーブルにする クエリーにあわせてセカンダリーインデックス 設計を汎用的に まとめ DynamoDBの特長 DynamoDBはAWS（アマゾンウェブサービス）で提供される、とても便利なNoSQL データベースサービスです。高速なパフォーマンスとシームレスなスケーラビリティが特長です。 RDBMSではディスク容量が足りなくなったりしたら、基本的にはディスクを増やす等の「スケールアップ（リソースを一箇所に
【お手軽ハンズオンで AWS を学ぶ】AWS Amplify で Todo アプリを作ろう！ AWS AppSync ＆ Amazon DynamoDB によるリアルタイムメッセージング | Amazon Web Services
AWS Startup ブログ 【お手軽ハンズオンで AWS を学ぶ】AWS Amplify で Todo アプリを作ろう！ AWS AppSync ＆ Amazon DynamoDB によるリアルタイムメッセージング AWS Amplify は、モバイルアプリやウェブアプリの実装を手助けしてくれるフレームワークです。AWS 上のバックエンドをプロビジョニングすることで、iOS や Android 、 Web 、React Native 上などにあるフロントエンドと簡単に統合させることが可能になります。開発スピードが最重要視されるスタートアップにおいて、AWS Amplify が役に立つ場面は多いでしょう。 この記事では、2019年8月8日に開催された「AWS Amplify & Chalice ハンズオン 〜怠惰なプログラマ向けお手軽アプリ開発手法〜」の内容をベースに、 AWS Ampl
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内容は以下のような用途に役立ちます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（Contact Trace Record, CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力できます。通常は問い合わせレコードは、どのフローで切断され
DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた | DevelopersIO
コンバンハ、千葉（幸）です。 DynamoDB テーブルの中身を S3 バケットにエクスポートしたい、という場合があるかと思います。S3 にエクスポートしたものに対して、例えば Athena を利用して解析をかけたい、といったケースです。 AWS Glue や AWS Step Functions を利用して、定期的にエクスポートを行う仕組みについて以下のブログで紹介されているので、試してみました。 CloudFormation テンプレートや スクリプトが用意されているので、一通り流すだけでできます。 全体像としては以下のイメージです。 Data Pipeline, EMR, Glue の比較 Step Functions の Glue Workflow への置き換え Glue ETL スクリプトの 各種バージョン Glue ETL スクリプトのDynamoDB 読み取り並列度 目次 D
DynamoDBのIncremental Exportの仕様を理解する #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。最近NuPhy Air75 V2を衝動買いしたのですが、届いた直後にNuPhy Air60 V2が発売され、購入したい衝動を抑えるのに必死な@civitaspoです。バクラク事業部Platform Engineering部DevOpsグループとバクラク事業部Data &ML部Dataグループに所属しています。 この記事は、LayerXテックアドカレ2023の7日目の記事です。 昨日は@yuya-takeyamaが「Microsoft Graph API へのキーレス認証 (GitHub Actions編)」を書いてくれました。 次回はサクちゃんさんがエモい記事を書いてくれそうです。 2023年9月26日にDynamoDBがIncremental Exportをサポートしました。このIncremental Exportは「直近35日以内における特定期間の変更をChange Dat
【アップデート】DynamoDBの文字列型/バイナリ型項目に空文字列が登録できるようになりました！！ | DevelopersIO
CX事業本部@大阪の岩田です。2020/5/18付けのアップデートにより、DynamoDBの文字列型/バイナリ型項目に空文字列が登録できるようになりました。 簡単ですが、このアップデートについてご紹介します。 何が変わったの？ これまでDynamoDBでは文字列型およびバイナリ型の項目に空文字列を登録することができませんでした。 例えばBoto3を使って以下のようなデータを登録しようとすると、、、 { "id":1 , "attr1": "" } 以下のようなエラーが発生して登録することができませんでした。 One or more parameter values were invalid: An AttributeValue may not contain an empty string そのため、アプリケーションから空文字列を扱いたい場合は一旦空文字列をNULLに変換してからDynam
CQRS/Event SourcingといえばAkka/Scalaがオススメと言い続けてきたけど、言語やフレームワーク非依存というか、そういう縛りが緩い方法を考えた(実際に検証したわけではないですが、実装できるつもりで書いてます)ので、以下にまとめます。 前提 クラウド環境はAWS。コマンド側DBをDynamoDB。DynamoDBにそれなりに詳しい人向けに基礎的な部分の解説も省いてます。クエリ側DBは要件に応じて選択してください。とりあえずAuroraのつもりで書きます。 コマンド側で発生したイベントをクエリ側に伝搬させるために、DynamoDB Streamsを利用します。クエリ側のRead APIはRead DBを読むだけなので解説は省きます。 ドメインはショッピングカートです。 アプリケーションは伝統的なステートレスウェブアプリケーションを想定します。アプリケーションの最新状態(S
【JAWS-UG朝会】今更ながら Amazon DynamoDB の論文を真面目に読んでみた
2023/06/20のJAWS-UG朝会にて発表した資料。DynamoDBの英語論文を読んで面白かったところを発表
皆さん待望の削除保護機能が Amazon DynamoDB でサポートされました | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 Amazon DynamoDB のオペレーションミスを抑止するためにテーブルの削除保護機能がサポートされましたのでご紹介します。 Amazon DynamoDB now supports table deletion protection Amazon DynamoDB の削除保護 EC2 や RDS には削除保護機能が合ったのですが、今まで DynamoDB にはありませんでした。そのためオペレーションミスなどで DynamoDB のテーブルを削除してしまう事故などが発生しがちでした。 DynamoDB の削除保護機能は、他のサービスと同様に IAM などの権限を持っていても機能が有効になっている限り削除を行えず、機能を無効にして初めて削除できるものです。 なお、ドキュメント上は AWS CloudFormation でも削除保護がサ
DynamoDB のスケーリング: パーティション、ホットキー、Split for heat がパフォーマンスに与える影響（第 1 部: ローディング） | Amazon Web Services
Amazon Web Services ブログ DynamoDB のスケーリング: パーティション、ホットキー、Split for heat がパフォーマンスに与える影響（第 1 部: ローディング） Amazon DynamoDB の一般的な原則は、高いカーディナリティのパーティションキーを選択することです。しかし、なぜそのようにすべきなのか、そしてそうしなかった場合の影響は何か？お客様のユースケースをもとに、この疑問に深く迫り、異なるパーティションキーの設計とテーブルの設定を使用して DynamoDB のロードおよびクエリのパフォーマンスを調査します。 各実験の後、生成されたパフォーマンスグラフを分析し、私たちが観察したパターンを説明し、繰り返しの改善イテレーションを通じて、DynamoDB の内部構造の基礎を紹介し、パフォーマンスの高いアプリケーションを構築するためのベストプラクティ
RDB設計者のための DynamoDB の解説！開発経験者が語る DynamoDB 設計入門🤔 | Ragate ブログ
DynamoDBで完全な探索要件の構築を目指さないでください DynamoDBはKVSです。水平軸の検索要件はElasticSearchを使用しましょう。 最も重要なことは、一つのデータベースで全ての機能の実現を目指さないこと アプリケーションの DB 開発において、様々なワークロードに対応したデータベース構築を目指した場合、どうしても DynamoDB だけ、MySQL だけで対応できないことがしばしば有ります。 例えば、オンデマンド動画視聴サービスの視聴ログを Read 集計する要件には縦軸集計に強いグラフ型の RedShift などを採用し、顧客の投稿情報に対する複雑なテキスト検索には ElasticSearch を検討します。 私たちは、多くのアプリケーション開発で DynamoDB を採用してきたメリットを下記のように感じています。 設計次第でスループットを効率的に利用・低レイテ
同一リージョンでAmazon S3またはDynamoDBにトラフィックを送信する際のベストプラクティスについて | DevelopersIO
しばたです。 先日弊社深澤によりえ、そんなに！？意外と知らないAWSでお金がかかるポイント5選！！第二弾という記事が公開されました。 え、そんなに！？意外と知らないAWSでお金がかかるポイント5選！！第二弾 この記事で紹介されている様にNAT Gatewayは非常に便利であるものの地味に費用のかかるサービスでもあり、NAT Gatewayが登場する以前からNAT Instanceを利用されていた方にとっては特に割高に感じてしまうのでは無いかと思います。 本記事ではNAT Gatewayの利用費を抑えるためのTipsを紹介します。 同一リージョンで Amazon S3 または DynamoDB にトラフィックを送信する際のベストプラクティス こちらはNAT Gatewayのユーザーガイドに記載されている通りなのですが、S3やDynamoDBの通信量が多い環境ではVPC Endpoint(Ga
はじめに こんにちは。ブランドソリューション開発部プロダクト開発チームの木目沢とECプラットフォーム部カート決済チームの半澤です。 弊社では、ZOZOTOWNリプレイスプロジェクトや新サービスで、Amazon DynamoDBを活用することが増えてきました。そこで、AWS様から弊社向けに集中トレーニングという形でDynamoDB Immersion Daysというイベントを開催していただきました。 今回は、2021年7月6日、13日、14日の3日間に渡って開催された当イベントの様子をお伝えします。 7月6日のDay1及び、14日のDay3の様子をDay1のサブスピーカーとして参加した木目沢がお届けします。13日のDay2を同じくDay2にてサブスピーカーとして参加しました半澤がお届けします。 目次 はじめに 目次 Day1（2021年7月6日） Amazon DynamoDB Archit
AWS Lambda Supports Failure-Handling Features for Kinesis and DynamoDB Event Sources
AWS Lambda now supports four failure-handling features for processing Kinesis and DynamoDB streams: Bisect on Function Error, Maximum Record Age, Maximum Retry Attempts, and Destination on Failure. These new features allow you to customize responses to data processing failures and build more resilient stream processing applications. Lambda processes data records from Kinesis and DynamoDB streams i
DynamoDBをいじり始めてかれこれ一年くらい。見よう見まねで騙し騙しやってきたが、色々と痛い目を見てわかってきたこともある。転んで生傷つくりながら、テーブル設計をする際に考えるようになったことを、備忘録的に記述していく。 オートスケールの話はしない（わからない）。インフラ専門部隊がいないなら、オンデマンドがいいよ。人的コストより多分安いよ。 ドキュメント なにはともあれ、公式のドキュメントについて存在を知っておく→「DynamoDB のベストプラクティス - Amazon DynamoDB」 こんな記事を読んでいる時間があるなら、公式のドキュメントを読むべきだ。でも多分読めない。自分も今でも読めていない。ここに書かれているのは本当に日本語だろうか、と真剣に思う。まぁ教科書なんていうのはだいたい、わかってから読むとわかるもんである。 それでも通して読むことでなんとなく親しみがわくのが人間
はじめに これは ドリコム Advent Calendar 2021 の25日目です。 24日目は 吉岡ひろき さんの DynamoDBをゲームアプリで使う際の課題と対策（前編） です。 前編では理論を説明しましたので、この後編では実際の適用例について説明していきます。 適用例 ここまでスキーマ設計のための観点を記して来ましたが、アプリケーションの要件によってはすべての観点で最適な選択をできない場合があるので、優先順位の高い条件を満たすスキーマを選択することになります。以下では上述の観点を実際に利用して設計した例をいくつか示します。 例1. ランキング ユーザ間でスコアを競うイベントのランキングについて考えます。アクセスパターンは次の３つとします。 個々のユーザのスコアを加算する 上位100ユーザのスコアとニックネームと使用中のキャラクタを取得する ニックネームまたは使用するキャラクタ変更
Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた | DevelopersIO
Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）を用いて取得し、DynamoDBに保存する方法をまとめました。 利用用途は以下が挙げられます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力することができます。通常は問い合わせレコードは、どのフローで切断されたか情報はありませんが、フロー内で工夫すると取得ができます。工夫内容は後述します。 以下の構成図をもとに処理の流れを説明し
AWSサーバーレスサービスのオンデマンドモードの特徴・比較・まとめ・プロビジョニングモードとの違い －DynamoDB、Kinesis Data Streams－ - NRIネットコムBlog
小西秀和です。 今回は「AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い」の記事の一部としてAWSのサーバーレスサービスの一部でプロビジョニングモードに対して用意されているオンデマンドモードについて、主なAWSサービスごとに特徴、設定項目、料金、制限事項を見ていきたいと思います。 今回の記事の内容は次のような構成になっています。 オンデマンドモード使える主なAWSサーバーレスサービス Amazon DynamoDBオンデマンドモード Amazon DynamoDBの概要 Amazon DynamoDBオンデマンドモードの特徴 Amazon DynamoDBオンデマンドモードの設定項目 Amazon DynamoDBオンデマンドモードの料金 オンデマンドモードとプロビジョニングモードの料金比較 Amazon DynamoDBオン
Originally we implemented a feature to persist an event-stream into DynamoDB to allow customers to retrieve them. This proved effective, serving as a strong use case for a key/value storage, yet the drawback was its high cost. Moving to provisioned billing-mode reduced cost by ~50%, but that was not going to be sustainable as we scaled to more customers. We also kept multiplying the cost each time
How Amazon DynamoDB supported ZOZOTOWN’s shopping cart migration project | Amazon Web Services
AWS Database Blog How Amazon DynamoDB supported ZOZOTOWN’s shopping cart migration project In this post, we show you a case study of an e-commerce site that had relational database management system (RDBMS) performance problems and how Amazon DynamoDB contributed to their solution. ZOZO has large-scale sale events requiring engineers to monitor and respond in real time to ensure that the service r
[AWS CDK超入門] DynamoDB + Lambda + API GatewayでAPIを作ってみた | DevelopersIO
AWS CDK とは AWS Cloud Development Kit (AWS CDK)は AWS のリソースを Typescript や Python 等のコードで定義するフレームワークです。コードで定義したリソースは CloudFormation テンプレートに変換され、デプロイされます。 CDK の対応言語は以下の５つです。(2020 年 5 月 現在) Typescript JavaScript Python Java C# AWS CDK のメリットとデメリット CDK を使うメリットとして主に上げられるのは以下です。 CloudFormation で書くよりもはるかに少量のコードの記述で済む 使い慣れたプログラミング言語が使える if 文やループなどのプログラミングロジックが使える ライブラリとして切り出し、共有できる テストが書ける デメリットとしては以下が挙げられます。
![[AWS CDK超入門] DynamoDB + Lambda + API GatewayでAPIを作ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92a069de3c7b583973daaf530883535d2e2b3e5a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F08%2Faws-cloud-development-kit.png)
CyberZ が Amazon DynamoDB を使用してフォロータイムラインの表示に必要な Read-Light 方式を実現した方法 | Amazon Web Services
Amazon Web Services ブログ CyberZ が Amazon DynamoDB を使用してフォロータイムラインの表示に必要な Read-Light 方式を実現した方法 CyberZ について CyberZ はスマートフォンに特化した広告マーケティング会社として 2009 年に設立しました。スマートフォン広告における運用・効果検証、交通広告やウェブ CM の制作など、幅広いマーケティング事業を展開しています。日本に加えて、サンフランシスコ、韓国、台湾にも支社を構え、国内広告主の海外進出および海外広告主の日本展開支援も行っています。また、メディア事業として動画配信プラットフォーム「 OPENREC.tv 」、 e スポーツ事業として、国内最大級のeスポーツイベント「 RAGE 」を運営しています。 CyberZ 100 % 子会社としては、オンラインエンタテインメント事業、プ
Amazon Web Services ブログ Amazon DynamoDB レイテンシの理解 Amazon DynamoDB は水平分割を使用しほとんどのテーブルサイズに対応することができます。水平分割の例とし、DynamoDB は全てのワークロードサイズに対して数ミリ秒での性能を提供します。Amazon.comなどリテールサイトではDynamoDBをショッピングカードのワークフローエンジンに使用しています。注文プロセスでレスポンスが遅いのはカスタマの不満だけではなく、ビジネスコストの問題にもなります。注文プロセスでの遅延は収益、顧客体験、ビジネスの成長に直接、影響を与えます。 本記事では DynamoDB のレイテンシと DynamoDB を使用するアプリケーションで通常よりも高いレイテンシに対応する手法を詳しく解説します。 (本記事は 2023/04/12に投稿された Unders
The DynamoDB Book
DynamoDB is exploding in popularity. It's fast, scalable, and fully-managed. But it's not your father's database. Data modeling in DynamoDB is different than the relational data model you're used to. Learn how to properly design your data model with DynamoDB to avoid problems later. The DynamoDB Book is available now! Get it here. Want a sneak peek? Enter your email below to receive free preview c
新機能 – Amazon DynamoDB テーブルデータを Amazon S3 のデータレイクにエクスポート。コードの記述は不要 | Amazon Web Services
Amazon Web Services ブログ 新機能 – Amazon DynamoDB テーブルデータを Amazon S3 のデータレイクにエクスポート。コードの記述は不要 2012 年のリリース以来、数十万の AWS のお客様がミッションクリティカルなワークロードに Amazon DynamoDB を選択しています。DynamoDB は、非リレーショナルマネージドデータベースで、事実上無限のデータを格納し、1 桁ミリ秒のパフォーマンスで任意のスケールで取得できます。 このデータから最大限の価値を引き出すには、お客様は AWS Data Pipeline、Amazon EMR、または DynamoDB ストリームに基づくその他のソリューションを利用する必要がありました。このようなソリューションでは通常、読み取りスループットの高いカスタムアプリケーションを構築する必要があるため、メンテ
DynamoDBで多対多のテーブル設計 - 或る阿呆の記
DynamoDBの設計を始めてからたいていの人が引っかかるであろう、DynamoDBにおける多対多(many-to-many relationship)の対応について、つらつらとメモする。 AWSのドキュメントにベストプラクティスがあるので、それについて書き連ねるだけではある。 DynamoDBの2番目くらいの壁 ウキウキしながらDynamoDBを始めた後、だんだん「あれ？これクエリめっちゃ厳しくない？」ということに気づき、その制約に愕然とするパターンの一つが、いわゆる多対多の実装だと思う。RDBなら中間テーブル作ってリレーション貼って正規化すればよし、だけれど、同じことをDynamoDBですると、めちゃくちゃクエリ投げないといけないことにハタと気づく。すごく思う。joinしたい。 もちろんDynamoDBにjoinはない。ああなるほど、KVS、Key Value Storeってそういう…
About Me My name is Marc Brooker. I've been writing code, reading code, and living vicariously through computers for as long as I can remember. I like to build things that work. I also dabble in machining, welding, cooking and skiing. I'm currently an engineer at Amazon Web Services (AWS) in Seattle, where I work on databases, serverless, and serverless databases. Before that, I worked on EC2 and
Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開 Amazon AthenaはS3上に置かれたファイルにクエリ（SQL）を実行できるサーバレスのサービスです。先日GAしたFederated Query機能を利用すると、クエリの範囲をS3に加えて多数のデータソース（例えば他のRDBやAmazon DynamoDB等）に広げ、複数のデータソースにまたがってSQL処理することが可能になります。（Federated Queryの機能説明はこちらにあります） 先日(4/17)、「AWSの基礎を学ぼう」というオンライン勉強会に講師として呼んでいただく機会があったので、このFederated Queryを使ったハンズオンキットを作成しました
Amazon Web Services ブログ 2019 年: Amazon DynamoDB の 1 年を振り返って Amazon DynamoDB にとって、2019 年も多忙な年でした。AWS では、信頼性、暗号化、速度、スケーリング、および柔軟性の観点から、当サービスでの皆さんのエクスペリエンスをこれまで以上に向上させることに焦点を当てた新しい更新機能をリリースしてきました。 以下は、2019 年のリリースをカテゴリ単位でアルファベット順に分類してから、リリースされた日付け順 (最新リリースが各カテゴリの最上部) に並べたものです。1 年間に及ぶサービスの変更を把握しておくのは困難だと思います。この便利な 1 ページの記事で、2019 年に DynamoDB で起こった事柄を確認、または思い出してください。ご質問等がございましたら、@DynamoDB までお問い合わせください。
こんにちは(U・ω・U) AWS事業部の深澤です。 全国のDynamoDBファンの皆さん、CloudWatch Contributor InsightsのGAに伴い、CloudWatch Contributor Insights for Amazon DynamoDBが公開されましたよ！！ 今回はこの機能についてお届けしようと思います！ どんな機能なの？ アクセスが多いキーを検出するための機能です。DynamoDBではパーティションキーによって書き込むディスク（パーティション）を分けて負荷を分散しているのですが同じパーティションキーに対して書き込みが多くなってしまうと同じディスクにアクセスが集中し性能が偏ってしまうという性質があります。なのでキーの偏りを検出するというのはDynamoDBのチューニング上非常に重要です。特にプロビジョニング済みキャパシティモードを採用されている方は更新される
Amazon Web Services ブログ Amazon DynamoDB を使った CQRS イベントストアの構築 コマンドクエリ責務分離（command query responsibility segregation, CQRS）パターンは、もともとコマンドクエリ分離の原則から導出されたもので、ドメイン駆動設計コミュニティの啓蒙によって広く知られるようになったものです。イベントソーシングを使用した CQRS アーキテクチャは、イベントストア と呼ばれる追加のみを許されたログに、作成されたイベントを保存します。イベントソーシングを利用することによっていろいろなメリットがありますが、中でも次のようなことができるようになります： データベースとメッセージブローカーを跨ぐような複雑な分散トランザクション（いわゆる 二相コミットプロトコルによるトランザクション）を用いなくてもデータベースの
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
Kinesis Data Analytics不要？Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。先日12/15付けのアップデートでKinesis Data StreamsとDynamoDB Streamsから起動するLambdaにタンブリングウィンドウの設定が可能になりました。 少し時間が空いてしまいましたが、このアップデートについてご紹介します。 概要 今回のアップデートにより、Lambdaに流れてきたストリーミングデータの状態をウインドウ単位で管理できるようになりました。Lambdaというサービスはステートレスが基本で、複数の関数呼び出しを跨いで何かしらの状態を共有するにはDynamoDBのような外部データストアを利用するのが基本でした。今後はLambdaのサービス基盤だけで各ウィンドウの状態が管理できます。 具体的なイメージとしては以下のような処理が実現可能になりました。 ストリームに[1,2,3,4,5]というデータが投入される データがウィンド
Amazon DynamoDB のテーブル設計で悩んだら最初に読もう -これだけ知ればある程度の検索には対応できる-
こんにちは、広野です。 Amazon DynamoDB は NoSQL と言われる類のデータベースですが、検索条件の指定に限りがあり、また検索条件を増やすための設定が構築後に追加できない箇所があります。そのため、最初のテーブル設計の時点で実際に使用する検索条件を意識して構築しないと、最悪データベースの作り直しになってしまいます。 そこで、簡易な検索要件であればこれだけ押さえておけば対応できる！という例をつくってみました。Amazon DynamoDB のテーブル設計でお悩みの方に読んで頂けたらと思います。 本記事では、クエリーによる検索について言及します。フィルターは全件取得の後に条件でデータをフィルターするので、データ数や実行回数が多いと課金が高額になる恐れがあります。また、データ量が多いとレスポンスが一気に遅くなるので、実用的でなくなるケースがあります。あくまで、データ量が少ないときの
Today, Amazon DynamoDB announces the general availability of incremental export to S3, that allows you to export only the data that has changed within a specified time interval. With incremental exports, you can now export data that was inserted, updated or deleted, in small increments. You can export changed data ranging from a few megabytes to terabytes with a few clicks in the AWS Management Co
NoSQL Workbench for Amazon DynamoDB – プレビューの使用が可能になりました | Amazon Web Services
Amazon Web Services ブログ NoSQL Workbench for Amazon DynamoDB – プレビューの使用が可能になりました 毎月数件のリクエストから毎秒何千万ものリクエストに簡単にスケールできる、完全マネージド型の key-value データベースとドキュメントデータベースを AWS のお客様に提供する Amazon DynamoDB には、いつも感銘を受けてきました。 DynamoDB チームは最近、オンデマンドキャパシティからネイティブな ACID トランザクションのサポートまで、数多くの素晴らしい機能をリリースしました。こちらは、グローバルテーブル、ポイントインタイムリカバリ、およびインスタントアダプティブキャパシティなど、最近の DynamoDB 発表の内容がよくわかる概要です。DynamoDB は、保管時のお客様データをすべてデフォルトで暗号化
「Amazon S3」にアップロードしたCSVファイルを「Amazon DynamoDB」に自動登録する「AWS Lambda」関数の作り方
「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は、「AWS Lambda」を使って「Amazon S3」にアップロードしたCSVファイルを「Amazon DynamoDB」に自動登録する方法を紹介します。 DynamoDBは、メンテナンスや管理、運用、スケーリングをAWSが行うフルマネージドNoSQLデータベースサービスです。主なユースケースとして、Webやスマホアプリのユーザー情報、セッション情報の管理、広告やゲームのユーザー行動履歴管理などがあります。 このDynamoDBを利用しているとたびたび出くわすのが「CSV形式のデータを一括でDynamoDBテーブルに取り込みたい」というシーンです。こちらの実現方法として、今回はLambdaとS3を利用します。 DynamoDBへのCSVファイル登録手順と構成 今回行
DynamoDBでデータを更新する際に使うUpdateExpressionについて一通りまとめてみた | DevelopersIO
こんにちは、CX事業本部の夏目です。 サーバーレスアプリケーションではよくDynamoDBを使用しますが、データを更新するのに使うUpdateExpressionはちょっと複雑です。 今回はUpdateExpressionで何ができるのかを確認したいと思います。 UpdateExpression DynamoDBのデータを更新するとき、update_itemで使用するものです。 UpdateExpressionとExpressionAttributeNames, ExpressionAttributeValuesの３つをセットで使います。 UpdateExpressionにはデータをどう更新するのかを、ExpressionAttributeNamesとExpressionAttributeValuesにはAttributeの名前や値の情報をKey-Value形式で記載します。 さて、このU
AWS SDK for GoでDynamoDBの式を扱うヘルパーパッケージの使い方 | フューチャー技術ブログ
by Renée French はじめにTIG真野です。 DynamoDBをGoで操作することにかけては、DynamoDB×Go連載 に参加するくらい関心があるのですが、AWS SDK for Goの公式ライブラリに含まれる、ヘルパーパッケージについて存在を今までスルーしていました。使ってみると業務的には利用一択だと思ったので今後使っていくぞという覚書としてまとめます。 DynamoDBの式をダイレクトに実装した例私は公式のAWS SDK for Goのdynamodbパッケージを用いる時に、ドキュメントのExampleに書いてあるように、ちまちま ExpressionAttributeNamesやExpressionAttributeValuesやFilterExpressionやProjectionExpressionを指定していました。 どんな感じかと言うと次のような感じです。 Ex
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDBを使ったCQRS/Event Sourcingシステムの構築方法(言語・F/W非依存)
DynamoDB Immersion Days 参加レポート - ZOZO TECH BLOG
DynamoDBのテーブル設計をするとき、自分に問いかけていること - 或る阿呆の記
DynamoDBをゲームアプリで使う際の課題と対策（後編） - Tech Inside Drecom
Moving from DynamoDB to tiered storage with MySQL+S3
Amazon DynamoDB レイテンシの理解 | Amazon Web Services
The DynamoDB paper - Marc's Blog
2019 年: Amazon DynamoDB の 1 年を振り返って | Amazon Web Services
DynamoDB運用者必見！！頻繁にアクセスされるキーが見やすくなりました！ | DevelopersIO
Amazon DynamoDB を使った CQRS イベントストアの構築 | Amazon Web Services
StepFunctionsでDynamoDBからS3にexportする - エムスリーテックブログ
The What, Why, and When of Single-Table Design with DynamoDB | DeBrie Advisory
Announcing incremental export to S3 for Amazon DynamoDB