背景 AWS使ってサーバーレスで自分用の家計簿的なwebサービスを勉強も兼ねて開発中。消費情報を登録する部分を作り、最近それに加えて残金管理を出来るようにした。 そうなると１つの消費情報登録で、複数のテーブルに対して更新を行う事になる。整合性を保つために、トランザクション制御を行いたい。 防ぎたいケース 片方のテーブル更新後、別テーブルの更新に失敗による不整合データ発生 複数人同時処理時、更新前データ取得による不正値更新（自分しか使わないけど） DynamoDBの特性復習 読み込み整合性 を強力にする事は出来るが、基本的に結果整合性を使うべき。（複数ノードに書き込まれる前に読み出すと古いデータが読まれる） javaでDynamoDBトランザクションを実現してるライブラリ が存在する 2018年末にDynamoDBのトランザクション機能 が発表された。前述ライブラリでなく、こちらを使用するの
AWS API Gateway(HTTP API) + Lambda + DynamoDB でサーバレスアーキテクチャを構築する - ROXX開発者ブログ
この記事は個人ブログと同じ内容です www.ritolab.com AWS の API Gateway(HTTP API) + Lambda + DynamoDB を使ってサーバレスアーキテクチャを構築してみます。 開発環境 - Terraform v1.0.2 DynamoDB テーブルを作成 データベースを用意します。DynamoDB にテーブルを作成します。 構成としては、date（年月日）をパーティションキーにして、ソートキーに time（時分秒）を起きたいと思います。 先に見せるとこんな感じのテーブルを作ります main.tf resource "aws_dynamodb_table" "event_log_table" { name = "EventLog" billing_mode = "PROVISIONED" read_capacity = 1 write_capacit
DynamoDB Transactionsで複数テーブルにまたがる書き込み処理をしてみる | DevelopersIO
広島の吉川です。 DynamoDB Transactionsが気になっていながらあまり触ったことがなかったため、簡単にではありますが検証してみました。 Amazon DynamoDB Transactions: 仕組み - Amazon DynamoDB TransactWriteItems オペレーションは、含まれるすべてのアクションを正常に完了する必要があり、そうでない場合は変更がまったく行われないという点で BatchWriteItem オペレーションとは異なります。 ということなので、 トランザクション内で2つの書き込み操作を行い、両方成功する場合→すべての書き込み処理が有効になる トランザクション内で2つの書き込み操作を行い、後者のみ失敗した場合→失敗していない前者を含むすべての書き込み処理が無効になる のパターンを実際に手を動かしながら試してみたいと思います。また、単一テーブル
Amazon AthenaからFederated QueryでDynamoDBに接続してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 Amazon AthenaではFederated Queryを用いることにより、Amazon S3以外のデータソースに接続してデータを抽出することが可能となります。 Using Amazon Athena Federated Query - Amazon Athena Federated Queryには既定で下記のようなデータソースへの接続の作成が用意されています。また独自のコネクタをLambda関数を作成して使用することも可能です。 Amazon CloudWatch Logs Amazon CloudWatch Metrics Amazon DocumentDB Amazon DynamoDB Amazon Redshift Apache HBase MySQL PostgreSQL Redis そこで今回は、Amazon AthenaからFede
Web アプリ開発のための Amazon DynamoDB 設計を考える - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
AWS 長期インターン生の嶋田です。 私は現在就活中なので、インターンや選考に応募するためにエントリーシートを書くことが多いです。エントリーシートでは「学生時代に頑張ったことは ?」など、200 ~ 500 字程度で答える設問がありますが、1 つの設問に対して複数の回答文候補を作成したり、それらを修正したりする中で、多くの回答文ができてしまい、以下のような課題を感じていました。 複数の回答文の中でどれを提出したのか、わからなくなってしまう。 作成した回答文を時系列でわかりやすく見たい。 面接前など「提出した作文を見直したい !」という時に「確認したい回答文が見つからないまま面接の時間になってしまった」という悲しい事態が起こらないよう、エントリーシートを管理するためのウェブアプリを作りました。 データベースとして Amazon DynamoDB を利用したのですが、DB 初心者の私はその設計
DynamoDBでも検索したい
2020年1月に実施したオンライン技術イベント「HandsWash2020～洗いざらい話します！東急ハンズを支える システムの裏側とハンズラボの取り組み～」の登壇資料です。 AWSのNoSQL データベースサービス、DynamoDBで高速検索をどう実現するか？についてお話しました。
IoT Coreルールアクションの DynamoDB と DynamoDBv2 の違いを調べてみた | DevelopersIO
IoT Coreのルールアクションには「DynamoDB」と「DynamoDBv2」があります。 「ん？ 何がどう違うの？？？」となったので、実際に試してみました。 DynamoDBを準備する 次のDynamoDBテーブルを作成します。 テーブル名： iot_sample パーティションキー： id（文字列） アクション：DynamoDBのとき IoTルールの作成 次のIoTルールを作成します。 SQL SELECT timestamp() as aws_timestamp, principal() as id, * as payload FROM '/topic/sample' パーティションキーの値を一意にするために、${principal()}を設定しています（デバイスを区別するため）。 もしトピック内にデバイスを特定する何らかのIDがあるなら、topic(2)等を使用すると良さそう
Amazon Web Services ブログ Amazon DynamoDB の使用開始 Amazon DynamoDB は、任意の規模で 1 桁のミリ秒のパフォーマンスを実現するために構築されたキーと値およびドキュメントデータベースです。これは、マルチリージョンでマルチマスターのフルマネージドデータベースで、組み込みのセキュリティ、バックアップとリストア、およびインターネット規模のアプリケーション用のメモリ内キャッシュを備えています。 この記事では、開始するために知っておく必要がある基本的な事項を確認します。テーブルを作成し、DynamoDB テーブルを設計するときの主な考慮事項について学習します。次に、いくつかのサンプル項目を挿入し、最後にそれらをクエリします。サンプル項目は実際の例で、AWS のオープンデータのレジストリからの Amazon Customer Reviews Dat
読み書きの度に料金がかかる 読み込み/書き込みキャパシティーモードとして「プロビジョニング」と「オンデマンド」から選択できる プロビジョニングモードの場合 月あたり 25WCU、25RCU は無料利用可能 読み込み/書き込み キャパシティユニット単位 で料金がかかる テーブルや索引(GSI/LSI)に事前にキャパシティユニットを割り当てる必要がある 事前に割り当てたキャパシティユニットを超えるスループットは出せない ※ProvisionedThroughputExceededException が発生する 1 読込キャパシティーユニットで、最大サイズ 4KB の項目について、1秒あたり1回の強力な整合性のある読み込み 又は 1秒あたり2回の結果整合性のある読み込みが可能 ※4KB未満のレコードはレコード毎に4KBに切り上げられて計算される 1書込キャパシティーユニットで、最大でサイズ 1K
カルキチのブログバックエンドDynamoDBの基本についてまとめてみた【初心者向け】2022-05-04DynamoDBの基本についてまとめてみた【初心者向け】 いま携わっている開発で初めてDynamoDBを触ったのですが、色々不明点が多かったのでまとめてみることにしました。 今までRDBMSしか使った開発しかやったことがなく、NoSQLに関してはほとんど知見がなかったので、かなり基本的なことしか書いていないです。 DynamoDBとは？DynamoDBとは、AWSが提供するキーバリュー型のNoSQLデータベースです。 以下公式の引用です。 Amazon DynamoDB は、ハイパフォーマンスなアプリケーションをあらゆる規模で実行するために設計された、フルマネージド、サーバーレスの key-value NoSQL データベースです。DynamoDB は、内蔵セキュリティ、継続的なバックア
boto3 の put_item() で DynamoDB にデータを書き込む方法 3 パターン - michimani.net
2019-09-25 AWS を操作するための Python ライブラリ boto3 を使って DynamoDB へデータを書き込む方法について調べていたところ、どうやらその方法が 3 パターンあるようです。今回は、それらについてのメモです。 目次 概要 boto3 を使った DynamoDB への書き込み方法 DynamoDB.Client.put_item() DynamoDB.Table.put_item() DynamoDB.Table.batch_writer() DynamoDB.Client と DynamoDB.Table の違い まとめ 概要 boto3 を使って DynamoDB のデータを読み書きする方法については前にも書きましたが、今回は書き込みに絞って調べてみた内容です。 ちなみにこれを書いている時点 (2019/09) 時点での boto3 のバージョンは 1.
DynamoDBを使いだして、DynamoDBの仕様やNoSQLへの理解不足ゆえに、あーこれ設計ミスったなーとか、設計段階で考慮すべきだった問題が噴出してきたので、知見をまとめてみます。 テーブル設計より先にデータ利用シーンを洗い出す AWSの公式ドキュメントには、次のように書いてあります。 NoSQL 設計では、RDBMS 設計とは異なる考え方が必要です。RDBMS の場合は、アクセスパターンを考慮せずに正規化されたデータモデルを作成できます。その後、新しい質問とクエリの要件が発生したら、そのデータモデルを拡張することができます。各タイプのデータを独自のテーブルに整理できます。 NoSQL 設計は異なります。 DynamoDB の場合は対照的に、答えが必要な質問が分かるまで、スキーマの設計を開始しないでください。ビジネス上の問題とアプリケーションのユースケースを理解することが不可欠です。
YouTuber になったから、活動を支えるサービスを React, API Gateway, Lambda, DynamoDB で作りかけた - Qiita
YouTuber になったから、活動を支えるサービスを React, API Gateway, Lambda, DynamoDB で作りかけたAWSDynamoDBlambdaReactAPIGateway 2019年の7月、YouTube にゲーム実況チャンネルを開設しました。 本記事では、YouTube 活動に際して発生した問題点の紹介と、ツールをつくってそれを解決しようとした話をします。 どのような YouTube チャンネルか。収録環境の説明 開設したチャンネルの特徴は以下です。 配信する内容はゲーム実況 2人で実況する 1人がプレイヤー、もう1人が Skype の画面共有を通じてゲームプレイを見て喋る 収録環境について、図にするとこのようになります。 本記事では「YouTube 動画撮影の問題点と、その問題点を解決するためのサービスを作ろうとした話」を紹介しますが、問題点というの
みんな大好き AWS Cognito。 最近のサーバーレスアーキテクチャでは採用されることも多いと思いますが、１つ疑問がありました。 サインアップしたユーザーの情報はアプリ側でどう使えばいいの？ ということです。 調べても中々出なかったので、今回はこの件について書きます🙌 結論 Cognito に保存されているユーザー情報を「認証・認可」以外で使うのはイケてない サインアップ時に別途 DBに保存すべき Cognito の Lambda トリガーで実現可能 解説 cognito ユーザープールにはユーザーに関する色んな情報が登録されますが、これらはあくまでも「認証・認可」のために使う情報です。 アプリ側で直接参照して使うものではありません。 例えばユーザーの詳細画面を実装するときに、 cognito にアクセスして取得した情報を表示するのはあまり良くありません。 DB では無いので扱いも大
GraphQL API と AWS AppSync によるシングルテーブルとマルチテーブルの DynamoDB 設計パターン | Amazon Web Services
Amazon Web Services ブログ GraphQL API と AWS AppSync によるシングルテーブルとマルチテーブルの DynamoDB 設計パターン GraphQL は、API のためのクエリ言語であり、既存のデータを使ってクエリを実行するためのランタイムです。GraphQL は、API 内のデータについて完全で理解しやすい記述を提供し、クライアントが必要なものだけを要求する力を与えます。AWS AppSync はフルマネージドの GraphQL と Pub/Sub API のサービスで、AWS Lambda、Amazon Aurora、Amazon OpenSearch、Amazon DynamoDB などの異なるデータソースに接続する能力をユーザーに提供します。DynamoDB は、あらゆる規模の高性能アプリケーションを実行するために設計された、完全に管理された
きっかけ 先日、とあるサーバーレスアプリを作っていた際、DynamoDBについて下記のツイートをしました。 ここに来て、DynamoDBの構成を変えなきゃいけない可能性が。てかプライマリキー、完全一致検索しかできないの？— Masaki Suzuki@フリーランスクラウドエンジニア (@makky12) 2020年2月4日 そうしたら、下記の突っ込みリプを頂きました。 プライマリーキーではなくパーティションキーなのです このキーの値によってデータが配置されるノードが決まります。同一ノード内ではある程度検索ができる(レンジキーやローカルインデックスではソートや絞り込みができる)わけですねー ホットキーがタブーなのも特定のノードに処理が偏るからですね というか確かに、DynamoDBのキーの扱いについて、認識がイマイチあいまいだなあ...と思う部分があったので、この機会にちょっと調べてみました
[Cloudflare Pages+Next.js] AWS SDK for JavaScript v3を使ってDynamoDBからデータ取得して表示してみる | DevelopersIO
[Cloudflare Pages+Next.js] AWS SDK for JavaScript v3を使ってDynamoDBからデータ取得して表示してみる どうも！オペレーション部の西村祐二です。 最近、Cloudflare、Next.jsをさわっています。 Next.jsをCloudflare Pagesでホスティングして、DynamoDBからデータを取得するところまでいろいろハマりながら手順がわかったので、備忘録兼ねてまとめておきます。 DynamoDBからデータを取得する処理はNext.jsのAPI Routesを使ってAPIを実装し、Edgeランタイムの設定を行い、CloudflareのEdge側で動作させる方針です。 https://nextjs.org/docs/api-routes/introduction 前提条件 AWS側の初期設定やwranglerの初期設定は完了し
![[Cloudflare Pages+Next.js] AWS SDK for JavaScript v3を使ってDynamoDBからデータ取得して表示してみる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1c4e9e28c189ba0da5e90990edaca836faea81b5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F06%2Fcloudflare-1200x630-1.jpg)
DynamoDBの query() で FilterExpression を使ってデータ取得条件を設定する | DevelopersIO
何らかの情報取得APIを作るとき、権限チェックをします。たとえば、「Aさんが所持しているデバイスか？」といった具合です。他人のデバイスの情報取得をしている場合、それは403エラー等で失敗させる必要があります。 このような実装を考えてみました。 おすすめの方 DynamoDBのget_item()を参考にしたい方 DynamoDBのquery()を参考にしたい方 実験用のDynamoDBテーブルを用意する 適当なDynamoDBテーブルを作成します。 サンプルデータを用意します。 { "userId": "test1", "devices": [ "d0001", "d0002" ] } 例1: ソースコードで判定する DynamoDBテーブルから「指定したユーザが所持するデバイス一覧」を取得し、判定する例です。 指定デバイスを所持しているか？の判定をif文で行っています。 lambda.p
Amazon DynamoDB用 NoSQL Workbenchでsession tokenを使って接続してみた | DevelopersIO
Amazon DynamoDB用 NoSQL Workbenchが、先日一般公開（GA）されたので色々試しています。 Amazon DynamoDB 用 NoSQL Workbench が一般公開されます。 個人的にはスイッチロールしてアクセスできるのかがすごく気になったので試してみました。 できます。 ただそれだけの話なのですがw、試す過程で全部CLIでテスト環境を用意できるようにしていて、せっかくなのでやったことを公開します。一部でも全部でも読者様（と、しばらく後に忘れかけるであろう自分）の参考になれば嬉しいです。 単純にツールの使い方だけ知りたい場合には「作成したロールにスイッチロールしてNoSQL Workbenchへ接続確認」のセクションから見ていただければと思います。 Amazon DynamoDB 用 NoSQL Workbenchとは DynamoDB用の開発ツールです。テ
DynamoDBで運用しているテーブルにAthenaでクエリを実行するために考えたこと | DevelopersIO
最初に こんにちは、yoshimです。 AthenaからDynamoDBで運用しているテーブルにアクセスする、となると一番シンプルなのはAthenaのFederated Queryを使う事だと思います。 ただ、他にも「DynamoDBテーブルのデータをS3に出力→AthenaでこのS3のデータを参照」といった方法もあり、これらの方法の使い分けのイメージが自分の中で整理できていなかったので、それぞれの手法を実際に手を動かして確認してみました。 なお、本エントリーでは「各サービスの説明」や「具体的な手順」についての説明は必要最低限のみ、とします。 目次 1.はじめに 2.パターン1の検証 3.パターン2の検証 4.まとめと比較 5.参照 1.はじめに 本エントリーではAthenaからDynamoDBで運用しているテーブルにSQLを実行するために、下記2パターンの構成について比較していきます。
Understanding DynamoDB Condition Expressions | DeBrie Advisory
If you're working with DynamoDB, you're likely to rely on Condition Expressions when manipulating items in your table. Condition Expressions can ensure you don't overwrite existing users, allow bank account balances to drop below \$0, or give Admin access to every user in your application. Yet despite their usefulness, I see Condition Expressions misunderstood quite often. My hunch is that this is
定期的にDynamoDBのデータをS3バケットにCSV形式で保存するLambdaを作成してみた | DevelopersIO
はじめに Amazon DynamoDBのデータを毎日Amazon S3バケットへCSV形式で保存するAWS Lambdaを作成する機会がありましたので、紹介します。 構成としては以下のとおりです。 Amazon EventBridge Schedulerで毎日01:00にLambdaを呼出します Lambdaは、DynamoDBから前日に保存されたデータを取得します。 LambdaでCSV形式に変換し、S3バケットに保存します。 DynamoDBのテーブルは、属性としてデータを保存した日付が入っていれば、テーブルは何でもよいですが、今回は以下の記事で作成したテーブルを利用します。 本記事で使用するDynamoDBのテーブルには、start_date(保存した日付)の属性が必要です。存在しない場合は、新たに追加してください。 保存した日付:start_date（必須） 例：2024-04-
Amazon DynamoDB のアダプティブキャパシティーは、頻繁にアクセスされるアイテムを自動的に分離することで、アンバランスなワークロードをより適切に処理が可能に
Amazon DynamoDB のアダプティブキャパシティーは、頻繁にアクセスされるアイテムを自動的に分離することで、アンバランスなワークロードをより適切に処理するようになりました。お使いのアプリケーションが 1 アイテム以上に偏った高いトラフィックを送る場合は、頻繁にアクセスされるアイテムが同一パーティション内に存在しないように、DynamoDB がパーティションのバランスを再調整します。この最新の機能強化で、ワークロードにおいて妨げられることのないパフォーマンスを維持できます。また、スループットをより効率的にプロビジョンできるため、コスト削減効果が得られます。不均等なデータアクセスパターンへの対応のためにオーバープロビジョニングなることはありません。 アダプティブキャパシティーはデフォルトで有効になっているため、追加料金なしですべての DynamoDB テーブルおよびグローバルセカンダ
こちらは AWS for Games Advent Calendar 2022 の5日目の記事です。 はじめに ゲーム開発にあたり、MySQLなどのRDBを使い慣れている方は多いと思いますが、DynamoDBをゲームで使うことを考えたことはありますでしょうか。 「DynamoDB…AWSのNoSQLのサービスですよね。なんかよく知らないけどRDBで困ってないし別にいいじゃん？」 「なんかいいこともあるって話は聞くけど、いろいろ勉強しなおさないといけないんでしょ…コスパ悪いっしょ」 そんな風に考えた方も、多いかもしれません。 この記事はそんなRDBユーザーの方にこそ知ってもらいたい、DynamoDBをゲームで使うにあたってのギモンをFAQ形式で見ていきたいと思います。テクニカルなことよりも、性質や雰囲気重視でラフな文章でまとめていきます。では早速いきましょう。 DynamoDBに関するFAQ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDBでのトランザクションを実際に使って考えてみる。 - Qiita
Amazon DynamoDB の使用開始 | Amazon Web Services
DynamoDBのキャパシティユニットについて - 闘うITエンジニアの覚え書き
DynamoDBの基本についてまとめてみた【初心者向け】｜カルキチのブログ
DynamoDBのテーブル設計時に気を付けること | It works for me
Cognito でサインアップしたユーザーの情報を DynamoDB に保存するには？
【AWS】DynamoDBのキーとソートとフィルタについて - echo("備忘録");
RDBに慣れた人にこそ知ってもらいたい、DynamoDBの特徴まとめ - Qiita