DynamoDBの難しさについて - Qiita
はじめに DynamoDBは上手く使えば非常に強力なDBMSですがRDBとの違いは大きく、「RDBの代わりにDynamoDBを使おう！」と深く考えずに提案/採用することが難しいことから、その理由についてみていきます。 DynaomoDBの難しさ DynamoDBの利点と表裏一体である、DynaomDBの主要な難しさについて順番に見ていきます。 1. 提供されているクエリモデルでできることが非常に限定されている DynamoDBは次の公式サイトに記載がある通り、どんな規模でも数msの一定のパフォーマンスを発揮でき、無尽蔵にスケールできるという特徴があります。 Fast, flexible NoSQL database service for single-digit millisecond performance at any scale この特性を上手く活用すると次の実例のように高可用性、
DynamoDB上のデータをファイルにエクスポートする際のJSONシリアライズについて考えてみる（スクリプト付き） | DevelopersIO
こんにちは、CX事業本部の若槻です。 Pythonによる実装で、辞書（dict型オブジェクト）データをファイルに書き込んだり、AWS LambdaからLambdaを呼び出す際のペイロードに指定したりする場合は、その辞書データは事前にjson.dump()やjson.dumps()などのJSONエンコーダによりJSONシリアライズされている必要があります。 今回は、DynamoDBから取得したデータをローカルファイルに書き込み（エクスポート）する際のJSONシリアライズの方法について考えてみた上で、一連の処理を行うPythonスクリプトを作ってみました。 DynamoDBから取得したデータはどんな型を取りうる？ まず、そもそもDynamoDBから取得したデータはどんな型を取りうるのかを確認してみます。 AWSドキュメント[命名ルールおよびデータ型 - Amazon DynamoDB]によると
DynamoDBのテーブル設計に最適！NoSQL WorkbenchのData modelerで今度こそDynamoDBを使いこなす！ | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 今回はAWSが提供しているDynamoDB用のアプリ「NoSQL Workbench」の機能を使ってデータモデリングする流れを解説します。 最近案件でテーブル設計を再検討する必要がありNoSQL Workbenchを使ったところ、サンプルデータを入れながら設計が正しいか検証でき非常に便利だったので紹介します。 他の記事でもアプリの紹介はありますが本記事ではデータモデリングに絞って解説を行います。題材として多対多のデータをモデリングしながら設計する方法を紹介します。 本記事を読めば今までDynamoDBのデータ設計に悩んでいた方の検討時間をかなり減らすことができます。自分ももっと早く「NoSQL WorkbenchのData modeler はこう使って欲しい！」という記事があれば良かったなあと思ったので記事にしました。 NoSQL Workbench
サーバーレスにおいてどのようにDynamoDBとRDSを使い分ければ良いのか/serverless-webinar-02
Serverless Web Hosting Strategy For Modern Front-end Application
Best practices for handling time series data in DynamoDB - Amazon DynamoDB
General design principles in Amazon DynamoDB recommend that you keep the number of tables you use to a minimum. For most applications, a single table is all you need. However, for time series data, you can often best handle it by using one table per application per period. Design pattern for time series data Consider a typical time series scenario, where you want to track a high volume of events.
Amazon DynamoDB の大量の時系列データの設計パターン | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB の大量の時系列データの設計パターン 時系列データは、経時変化のパターンを示しています。たとえば、次のグラフの例に示すように、センサーを通じて環境データを記録するモノのインターネット (IoT) デバイスがあります。このデータには、温度、気圧、湿度、その他の環境変数が含まれる場合があります。各 IoT デバイスは定期的にこれらの値を追跡するため、バックエンドは毎秒最大数百、数千、または数百万のイベントを取り込む必要があります。 このブログ記事では、大量の時系列データを扱うシナリオ用に Amazon DynamoDB を最適化する方法について説明します。これを、自動化とサーバーレスコンピューティングを活用した設計パターンを使用して行います。 DynamoDB で大量のイベントを設計する 通常、データ取り込みシステム
New – Amazon DynamoDB Transactions | Amazon Web Services
AWS News Blog New – Amazon DynamoDB Transactions March 13, 2020: Post updated to clarify how to use transactions with global tables and the increase in the maximum number of items per transaction from 10 to 25. Over the years, customers have used Amazon DynamoDB for lots of different use cases, from building microservices and mobile backends to implementing gaming and Internet of Things (IoT) solu
DynamoDBデータモデリング虎の巻：第参巻 〜実践編〜 - misc.tech.notes
前巻のおさらい 前巻はDynamoDBのデータモデリングをするにあたって必要な考え方について、RDBとの対比を交えながら触れてきました。 marcy.hatenablog.com 今回は この巻では、実際にどのようにデータモデリングしていけば良いのかといった実践的な内容を、いくつかの汎用的と思われるパターンを例にしつつ書き記していきたいと思います。 たぶん、今までの３巻の中で一番今までの巻を理解していないとピンと来ない内容だと思うので、まずは第壱巻と第弐巻を読むことをオススメします。 Partition Keyの決め方 まずは、DynamoDBでテーブルを作る際に必ず必要な Partition Key の決め方です。前巻では以下のように書きましたが、じゃあ実際にその識別子はどうやって採番するのか？ということです。 ECサイトなら「ユーザ」「商品」「注文」といった特定の意味のある存在を表す実
DynamoDBデータモデリング虎の巻：第弐巻 〜考え方編〜 - misc.tech.notes
前巻のおさらい 前巻はDynamoDBのデータモデリングをする前に知っておいた方が良いDynamoDB自体の仕組みやデータ構造のお話でした。 marcy.hatenablog.com 今回は 今回はデータモデリングを行う際に必要なマインドセット、つまり「考え方」について書き記したいと思います。非常によく聞かれる「RDBとの考え方の違い」といった切り口で進めていきたいと思います。 RDBとはアプローチが真逆 RDBのデータモデリングをする場合、まず正規化されたデータのスキーマを決めることから始めると思います。慣れてくると律儀に第一正規化から始めずにいきなり第三正規形あたりから設計しだすことも多いと思います（私もそうです） そして、データのスキーマが決まってからそれに対してどのようにアクセスするか（＝SQL）をアプリケーションを設計する際に考えていくというのがRDBでの一般的なアプローチではな
DynamoDBデータモデリング虎の巻：第壱巻 〜前提知識編〜 - misc.tech.notes
動機など 最近、Serverlessの文脈からDynamoDBのテーブル設計の相談を受けることが多くなってきていて、Podcastでも話したけどけっこう図とかが無いと説明しづらい領域なので、まとまった資料がほしいなということでまとめてみる。 cloudinfra.audio どう考えても長編大作エントリ不可避なので気力が続けば第二巻以降に続きます…！（フィードバックが多いと頑張れるかも…！） 本巻の対象と前提知識 本巻はDynamoDBのデータモデリングにスコープを絞っています。DynamoDBおよびデータベースの一般用語などについての説明は省きます。 前提知識としては以下のようなものになるかと思います。 DynamoDBのサービスとしての概要や用語( WCU , RCU , GSI , LSI など)を知っている Hash TableやB-Tree(B+Tree)といったデータ構造がどん
DynamoDBの設計力をあげたい - log4ketancho
サーバレスアーキテクチャを検討する際に、データベース層をどうするかはよく議論になります。リレーショナルデータベースに慣れている人は、なんとか RDS を採用できないか考えるのですが、現状は DB のコネクションプール問題などで RDS を用いるのはアンチパターンと言われています。 代替として用いられるのが NoSQL 型のデータベースである DynamoDB です。前述のような問題は発生せず、AWS でサーバレスなシステムを構築する際にデータベース層に採用されることが多いです。 しかし、これは私だけかもしれませんが、DynamoDBの（というよりも NoSQL 型データベースの？）設計に慣れていないこともあり、 「この要求・要件を実現するときに、どうテーブル設計すべき？」 「この設計で将来の機能拡張に耐えられるの？」 と不安になるシーンが多いです。特に後者が多く、これまでも「既に見えている
開発時のDynamoDB環境としてDynamoDB Localを用いた際に行なったノウハウを公開します。 | DevelopersIO
開発時のDynamoDB環境としてDynamoDB Localを用いた際に行なったノウハウを公開します。 DynamoDB Local立ち上げや管理画面であるDyanmoDB Admin、AWS SDK for Python (Boto3)を用いたDynamoDB Localへのアクセス方法等を紹介します。 はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 現在私が構築を行っているサービスでは、DynamoDBをデータストアとして用いています。 開発時に開発者各々に開発用のDynamoDBのテーブルを作成すると、 テーブル名の重複やコストの問題が発生してしまいます。 これらの問題を回避するため、開発時にはDynamoDB Localを用いて開発を進めました。 それらの手法についてお伝えします。 環境は以下の環境で実施しております。 Mac OS X High Sierra 1
DynamoDBのインフラコスト構造と削減策 - ゆううきブログ
Amazon DynamoDBは、RDSのようなインスタンスサイズによる課金モデルではなく、ストレージのデータ使用量とスループットを基にした課金モデルになっている。 インスタンスサイズによる課金モデルでないデータストア系サービスとして、他にはS3、Kinesisなどがある。 これらは、AWSの中でも、フルマネージドサービスと呼ばれる位置づけとなるサービスだ。 フルマネージドサービスは、ElastiCacheのようなそうでないものと比較し、AWSに最適化されていて、サービスとしてよくできていると感じている。 Mackerelの時系列データベースのスタックの一つとして、DynamoDBを採用している。 時系列データベースの開発は、コストとの戦いだったために、それなりにコスト知見が蓄積してきた。(時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ) (※ 以下は、2018
Serverless アプリケーションをローカルで開発する - Qiita
AWSに代表されるServerless Architectureはクラウド上での動作が前提ですが、Serverless Frameworkのプラグインを用いることにより、ローカル環境でも動作させることが可能になるのでご紹介します。AWSにデプロイすることなく開発が可能になるので、より素早く開発ができます。また、AWSのアカウントを持っていない方もServerlessの世界を体験できるかと思います。ここではじゃんけんを行うAPIの開発を通して、ローカルでの開発方法を説明します。完成版のソースコードは以下にあります noralife/serverless-janken 構成 API Gateway、Lambda、DynamoDBを用いたアーキテクチャをここでは想定します。ローカル開発環境ではそれぞれ serverless-offline、javascriptファイル、DynamoDB Loca
DynamoDBにおけるスループット超過対策 〜 Fallback-Queueingパターン | DevelopersIO
よく訓練されたアップル信者、都元です。今日はAmazon DynamoDBのちょっと厄介な特性とその対処方法について。 DynamoDBの課金モデル 今さら説明することでもないかもしれませんが、DynamoDBはプロビジョニングされたスループットに対して課金されます。 意味わかりますか？ さっぱり伝えられてる気がしませんｗ 「provisioned throughput」ってどう訳せばいいんですかねぇ。 おっと、いきなり脱線してしまいましたが。つまり「どのくらいの頻度でどのくらいのデータ量を読み書きをする予定なのか」というユーザからの事前申告に基づいて、Amazonがその処理能力を確保し、その確保分に対して料金が発生します。具体的には1秒あたり1KBのデータを100回書き込みたければ、100ユニットの書き込みスループットを設定し、この100ユニットに対する課金を支払います。実際にどの程度読
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS DynamoDB - Pick a record/item randomly?
Serverlessを極めるためにDynamoDBデータモデリングを極めよう / Let’s become the master of DynamoDB Data Modeling to become the master of Serverless - Speaker Deck
phenyl/modules/power-assign at master · phenyl-js/phenyl · GitHub
GitHub - awslabs/dynamodb-data-mapper-js: A schema-based data mapper for Amazon DynamoDB.
Common DynamoDB questions/misconceptions/recipes | Yet another enthusiast blog!