Commandeer - Desktop cloud management app - AWS S3, DynamoDB, Lambda.
Meet Commandeer 3 Manage AWS, LocalStack, Docker, and more from one unified desktop app. With support for 35+ cloud services. Available now on Mac, Windows, and Linux. Download Now Version loading released on - Read Release Notes In less than 2 minutes, find out how Commandeer can be THE command center for your development team with support for over 35 cloud services including LocalStack, S3, Dyna
DynamoDBテーブルからレコードを抽出したい びっくり。DynamoDBのコンソールは検索に弱い… DynamoDBで多くのレコードが登録されたテーブルの場合、AWSコンソールから条件を指定してフィルターしても検索が中断されてしまい、検索結果が表示されないことが分かりました。残念、コンソールでは多くのレコードを持つテーブルでのレコード検索ができませんでした！（驚 次に、AWS CLI を使い、テーブルをscanして安易に全レコードをファイルにリダイレクトしましたが時間が掛かり…、効率的ではありませんでした（汗 DynamoDBのテーブルをクエリする 次にドキュメントを読みながら、テーブルのクエリを行います。初めてのクエリで複雑な指定に戸惑いましたが、KeyConditionsを指定することでレコードの条件が指定できます。以下ドキュメントに、aws dynamodb query –key
AWS SAMでGo+API Gateway+Lambda+DynamoDBのサーバレスAPI構築をIaC化した - Qiita
AWSTemplateFormatVersion: '2010-09-09' Transform: AWS::Serverless-2016-10-31 Description: go-serverless-app-4 Resources: Function: Type: AWS::Serverless::Function Properties: FunctionName: PostAmazonURLFunction Handler: PostAmazonURLFunction Role: !GetAtt FunctionRole.Arn Runtime: go1.x CodeUri: . Timeout: 60 Architectures: - x86_64 Events: CatchAll: Type: Api Properties: Path: /post Method: POST
はじめに 弊社の主な事業はスマホ向けゲームの開発と運営で、DBもゲーム向けのものに関心があります。AWS(Amazon Web Services)とGCP(Google Cloud Platform)でソリューションを検索すると、それぞれDynamoDBとCloud Spannerをゲーム向けと位置づけています。DBの選定はパフォーマンス以外の要因で決まることが多いのですが、純粋なパフォーマンスも知っておきたく、調べてみることにしました。（追記：GCPのサービスのベンチマークを公開する場合は、Googleから書面による同意をもらうなどの要件があります。AWSの方は、再現に必要なすべての条件を公開していれば済みます。） なお本稿はサーバーエンジニアを対象とした内容になっています。 アクセスの種類 スマホ向けゲームはDBアクセスにおいて一般に書込みの割合が多いアプリケーションであり、同時にチー
[AWS Glue]S3とDynamoDBから取得したデータを結合（Join）するジョブを作ってみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 AWSのETLサービスであるAWS Glueでは、Amazon S3、Amazon Redshift、Amazon DynamoDBなど様々なサービスにデータソース/ターゲットとして接続することができます。 Connection Types and Options for ETL in AWS Glue - AWS Glue 今回は、AWS GlueでS3とDynamoDBから取得したデータを結合（Join）するジョブを作ってみました。 作ってみた 以下のような構成の、デバイスからIoT Core経由で送信される生データ（devices_raw_data）と、DynamoDBにて定義したデバイステーブル（devices）のデータを、GlueジョブでデバイスIDを元にして結合して分析用データ（devices_integrated_data）を作成する仕組
![[AWS Glue]S3とDynamoDBから取得したデータを結合（Join）するジョブを作ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
Amazon DynamoDBに感じた痛み
Amazon Redshiftのプロダクトマネジメント・ディレクターを勤めているEugene KawamotoさんがAmazon DynamoDBが誕生した歴史から、周知し、普及していく過程についてTweetされている。 前半の話、Amazon DynamoDBが分散型KVSとして誕生した過程に関する話は非常に良かった。Amazon DynamoDBの論文は初めて拝見したし、分散型KVSの目的を認識し、来日時のエピソードにほっこりさせられた。 自分として非常に突っかかりを覚えてたのは後半の話になる。こちらではAmazon DynamoDBが既存のKVSでありOSSであり競合であったApache Cassandraに打ち勝ち、シェアを勝ち取っていった過程を説明している。 自分なりに説明を補ってみる。当時の分散型KVSのメインユーザーはアドテク企業(インターネット広告の最適化を行い、広告による
【AppSheet】スマホでスキャンしたQRコードの情報をDynamoDBに登録するアプリを作ってみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 今回は、ノーコード開発プラットフォームAppSheetを使用して、スマホでスキャンしたQRコードの情報をDynamoDBに登録するアプリを作ってみました。 やってみる アプリ作成の準備 アプリ作成の準備としてAWS側とAppSheet側で下記の実装を行いました。手順は前回の記事の内容の記載のままですのでここでは省略します。 AWS側の実装 DynamoDBテーブルの作成 S3バケットの作成 IAMポリシーの作成 IAMユーザーの作成、ポリシーのアタッチ、APIキーの発行 AppSheet側の実装 データソースの追加 DynamoDBテーブルは下記内容で作成しました。 テーブル名：scanned_data パーティションキー：scannedContent アプリの作成 続いてアプリを作成します。 DynamoDBテーブルとの接続 AppSheetのコンソ
Amazon EventBridge SchedulerでDynamoDB APIを直接呼び出してみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 先日にAWSの新機能としてAmazon EventBridge Schedulerがリリースされました。 Amazon EventBridge Launches New Scheduler タイムゾーンを指定した定期実行を行えたり、AWSサービスのAPIを直接実行できたりとなかなかに便利そうです。 今回は、そんなAmazon EventBridge Schedulerを使って、DynamoDB APIを直接呼び出してみました。 やってみた Amazon EventBridge SchedulerコンソールからSchedulerを作成してみます。 [Create schedule]をクリック。 スケジュールパターンを指定して[Next]。 [Select target > Taget detail > Taget API]で[All API
とりあえず「API Gateway + Lambda + DynamoDB」の構成でWebAPIを開発する際には以下が参考になると思います。 まずは簡単なサーバーレスアプリケーションを作成して感覚を掴むのが良いと思います。 初めてのサーバーレスアプリケーション開発 ～DynamoDBにテーブルを作成する～ 初めてのサーバーレスアプリケーション開発 ～LambdaでDynamoDBの値を取得する～ 初めてのサーバーレスアプリケーション開発 ～API GatewayからLambdaを呼び出す～ スマホアプリなどのクライアントからのHTTPリクエストは、API Gatewayで受け付けてLambda関数で処理されます。API GatewayではLamba関数に渡す前のデータ形式を調整し、Lambda関数から返ってきたデータの形式を調整してクライアントにHTTPレスポンスとして返却します。 初期設
Amazon DynamoDB 用の NoSQL Workbench および DynamoDB local* をダウンロードするには、以下の手順に従います。 NoSQL ワークベンチおよび DynamoDB local をダウンロードするには オペレーティングシステムに適したバージョンの NoSQL Workbench をダウンロードします。
[速報]Amazon DocumentDBおよびAmazon DynamoDBのベクトルサーチ機能が一般提供開始に！ #AWSreInvent | DevelopersIO
データアナリティクス事業本部 機械学習チームの鈴木です。 re:Invent2023のキーノートのうち、現在開催中のDr Swami Sivasubramanian Keynoteで、Amazon DocumentDBおよびAmazon DynamoDBのベクトルサーチ機能の一般提供が発表されました！ AWS News Blogにも紹介記事が出ていました。 機能について ドキュメントデータベース内でミリ秒の応答時間で数百万のベクトルを保存し、インデックス付け、検索できる新しい組み込み機能とのことです。 AWS News BlogではAmazon DocumentDBでの例が紹介されていました。 LLMで埋め込みモデルを作成する。 insertMany( [{},...,{}] )でDocumentDBに生成されたベクトル埋め込みを追加する。 createIndexでベクトルインデックスを作
![[速報]Amazon DocumentDBおよびAmazon DynamoDBのベクトルサーチ機能が一般提供開始に！ #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
Create and Query a NoSQL Table with Amazon DynamoDB TUTORIAL In this tutorial, you will learn how to create a simple table, add data, scan and query the data, delete data, and delete the table by using the DynamoDB console. DynamoDB is a fully managed NoSQL database that supports both document and key-value store models. Its flexible data model, reliable performance, and automatic scaling of throu
新しい edX コースで Amazon DynamoDB を使用した NoSQL データベース指向アプリケーションを構築する方法 | Amazon Web Services
Amazon Web Services ブログ 新しい edX コースで Amazon DynamoDB を使用した NoSQL データベース指向アプリケーションを構築する方法 最近の組織は絶えずデータからより大きな価値を得る方法を探しており、そのことによりチームや個人が AWS クラウドでデータ指向のアプリケーションを構築する方法を理解することがますます重要になっています。 データ環境はさらに多くのクラウドベースのデータベースを含むように進化し続け、ますます多くの開発者がアプリケーションの特定のニーズを満たす専門的に構築された非リレーショナルデータベースを選択するようになっています。 データベースサービスをご使用のお客様は、必要なデータタイプ、アクセスモデル、そして拡張性に適したデータベースを評価して選択することが求められます。このために、この AWS トレーニングと認定がコースを設
利用するサービス ・DynamoDB ・IAM ・Lambda ・API Gateway 1.DynamoDB でテーブルを作成する DynamoDB を開き、「テーブル」から「テーブルの作成」をクリック。 [テーブル名]に 「demo_test」 、[プライマリキー]に「test_id」と入力し、「作成」。 「項目」から「項目の作成」をクリック。 「Append」から「String」を追加します。 「name」を追加し、以下のように入力します。 同様に以下のテーブルになるように作成してください。 2.Lambda関数を作成する 2つの権限をもつ、IAMロールを作成しておきましょう。 AWSLambdaBasicExecutionRole：ログの書き込み権限 DynamoDBAmazonDynamoDBFullAccess：DynamoDBへのアクセス権限 Lambda を開き、「関数の作
GitHub - aaronshaf/dynamodb-admin: GUI for DynamoDB Local or dynalite
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[アップデート] Amazon DynamoDBがPrivateLink (インターフェイス型VPCエンドポイント) をサポートしました | DevelopersIO
[アップデート] Amazon DynamoDBがPrivateLink (インターフェイス型VPCエンドポイント) をサポートしました 閉域網やVPNの接続元からDynamoDBにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんは閉域網やVPNの接続元からDynamoDBにアクセスしたいなと思ったことはありますか? 私はあります。 従来DynamoDBはGateway型のVPCエンドポイントしかサポートされていませんでした。そのため、Direct Connect(Private VIF or Tranit VIF)やSite-to-Site VPNの接続元からアクセスする際にはVPC上にプロキシを用意する必要がありました。 今回、Amazon DynamoDBがPrivateLink (インターフェイス型VPCエンドポイント) をサポートしました AWS Blog
![[アップデート] Amazon DynamoDBがPrivateLink (インターフェイス型VPCエンドポイント) をサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/38e9929fa6251377ccd1a0b39defb8126be9eef4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-dynamodb.png)
DynamoDB上のデータをファイルにエクスポートする際のJSONシリアライズについて考えてみる（スクリプト付き） | DevelopersIO
こんにちは、CX事業本部の若槻です。 Pythonによる実装で、辞書（dict型オブジェクト）データをファイルに書き込んだり、AWS LambdaからLambdaを呼び出す際のペイロードに指定したりする場合は、その辞書データは事前にjson.dump()やjson.dumps()などのJSONエンコーダによりJSONシリアライズされている必要があります。 今回は、DynamoDBから取得したデータをローカルファイルに書き込み（エクスポート）する際のJSONシリアライズの方法について考えてみた上で、一連の処理を行うPythonスクリプトを作ってみました。 DynamoDBから取得したデータはどんな型を取りうる？ まず、そもそもDynamoDBから取得したデータはどんな型を取りうるのかを確認してみます。 AWSドキュメント[命名ルールおよびデータ型 - Amazon DynamoDB]によると
AWS DVA（AWS Certified Developer - Associate）試験の勉強をするなかで、Amazon DynamoDBのキャパシティユニットの消費パターンがややこしかったので整理してみます。 というか公式ドキュメントがテキストの羅列で非常に見づらかったため、表形式にまとめました。 公式ドキュメント 読み込みリクエストの場合 整合性レベルが上がるたび、ユニット数が倍になっていくイメージです。 リクエストの種類 基準サイズ 必要ユニット数
Amazon DynamoDB 向け NoSQL Workbench を使用したデータモデリング | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB 向け NoSQL Workbench を使用したデータモデリング Amazon DynamoDB などの NoSQL データベースを使用する場合、リレーショナルデータベースで慣れているものとは異なる最適化を選択する傾向があります。リレーショナルデータベースの経験から、最初は別の方法で実行するように指示されていたため、簡単ではありませんでした。 これを支援するために、AWS は Windows および macOS で利用可能なクライアント側アプリケーションである Amazon DynamoDB 向け NoSQL Workbench をリリースしました。これを使用して、スケーラブルで高性能なデータモデルを構築し、クエリの開発とテストを簡素化できます。NoSQL Workbench を使用すると、次のことができま
DynamoDB でセカンダリインデックスを使用するためのベストプラクティス。 - Amazon DynamoDB
多くの場合、セカンダリインデックスは、アプリケーションに必要なクエリパターンをサポートするために必要です。同時に、セカンダリインデックスを過度に使用するか、非効率的に使用すると、コストがかかり、不要にパフォーマンスが低下する可能性があります。
DynamoDBの scan() でフィルターを使って取得したデータが0件でも、続きのデータが存在するか確認してみた | DevelopersIO
DynamoDBテーブルでscan()やquery()を使うとき、フィルタを使うことがあります。 そこでふと気になりました。フィルタ適応後のデータが0件でも、続きはあるよね？と。 最初にまとめ DynamoDBでscan()やquery()を使うとき、「続きのデータがある？（最後のデータ？）」の判断は、LastEvaluatedKeyを参照しましょう。データ件数で判断しないように注意です。 DynamoDBテーブルを準備する 以前に作成したDynamoDBテーブルを流用します。 scan()で調べてみる 1回のscan()で最大1MBのデータを取得できますが、実際に用意するのは大変なので、Limitを使って取得するデータ量を減らします。 まずは、Limit無しで試してみる Limit無しでtitleに「買う」が含まれているデータ取得できるか試してみます。 get_no_limit.py i
はじめに DynamoDBを使用したアプリケーションを開発・テストしていると、AWS上のリソースを利用する必要が生じます。 しかしDynamoDB localを利用することで、アプリケーションの開発やテストをローカル環境で行えるようになります。 本記事では、DockerでDynamoDBのローカル開発環境を構築する方法と関連するツールについてまとめました。 DynamoDB localのコンテナ生成 DynamoDB localのDockerイメージを利用します。 DynamoDB localを使えば、AWS上のDynamoDB(Webサービス)に接続することなくDynamoDBを使ったアプリケーションの開発やテストができるようになります。 AWS公式ドキュメントをもとにdocker-compose.ymlを記述するだけで、簡単にDynamoDB localのコンテナを用意することができま
【DynamoDB/Boto3入門】DynamoDBでアトミックカウンタを実装しつつ更新式について学ぶ。 - サーバーワークスエンジニアブログ
こんにちは、技術一課の加藤です。先日、特定条件のファイルの個数をカウントするために、DynamoDBを使ったアトミックカウンタを実装しました。 こりゃー便利だと思うと同時に、DynamoDBのUpdateItemについてある程度わかっていないとちょっとだけ困るなあと感じたので、実装手順や注意点を備忘録的に書き残しておきます。 アトミックカウンタ 他の書き込みリクエストを妨害することなく、数値をカウントアップ/ダウンするようなカウンタのことをアトミックカウンタと呼びます。 例えばアクセスカウンタのような、1回の操作につき必ず1ずつカウントアップするような仕組みを考えるとします。普通に考えると、 SELECTして現在の値を取得する 取得した値に1を足して、UPDATEで値を更新する という2ステップが必要になりますがトランザクション管理をしっかりやっていないと、値の取得をしている間に別のクライ
「DynamoDBとElasticsearch Serviceを組み合わせて、簡単な全文検索を実装してみた話」というテーマのビデオセッションで話しました #devio2020 | DevelopersIO
こんにちは。坂井です。 2020/06/16より、弊社主催のオンラインイベント Developers.IO 2020 CONNECT が開催されております。 ライブセッションおよびビデオセッションでおよそ100本のセッションあります。 その中で私は、「DynamoDBとElasticsearch Serviceを組み合わせて、簡単な全文検索を実装してみた話」というビデオセッションを担当させていただきましたので、紹介させていただきます。 登壇資料 動画 セッション内容 サーバーレスなシステムなどでデータの保存先として DynamoDB を利用しているシステムは数多くあると思います。そのシステムに全文検索機能やその他の様々な検索機能を実装しようとした場合、 DynamoDB だけではなかなか実装が難しいと思います。 このような場合に、Elasticsearch Service を組み合わせて、
運用上の認識を高めるための Amazon DynamoDB のモニタリング | Amazon Web Services
Amazon Web Services ブログ 運用上の認識を高めるための Amazon DynamoDB のモニタリング Amazon DynamoDB はサーバーレスデータベースです。このサービスは、この分散システムの背後にあるインフラストラクチャの運用と保守に関連する、未分化の困難な作業を扱います。お客様は、API を使用して、テーブルのモニタリングと操作に使用できる操作データをキャプチャします。この記事では、DynamoDB を運用するためにダッシュボードとアラームを構築する際に考慮する一連のメトリクスについて説明します。 DynamoDB によって公開された Amazon CloudWatch メトリクスを使用すると、データモデルのコンテキストで進化するワークロードと DynamoDB の相互作用を理解するのに役立ちます。メトリクスは、適用されるリソースレベルに基づいて、次の 3
Eugene Kawamoto on Twitter: "DynamoDBは当初アマゾンのeコマースを支える基幹データベースとして認知され、そこからNetflix, Airbnb, Snapなどのインターネット規模のアプリケーションを支えるデファクトDBとして使われる様になりましたがどの… https://t.co/RN8t52HIxn"
DynamoDBは当初アマゾンのeコマースを支える基幹データベースとして認知され、そこからNetflix, Airbnb, Snapなどのインターネット規模のアプリケーションを支えるデファクトDBとして使われる様になりましたがどの… https://t.co/RN8t52HIxn
魔法で作る Amazon DynamoDB の簡単ゲームインベントリ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
AWS for Games ではより早い開発、よりスマートな運営、そしてより楽しいゲームへの成長という Build、Run、Grow の 3 つの柱に沿ってサポートします。本日は Run の柱、そして ゲーム向けデータベース のお話になります。 Amazon DynamoDB はハイパフォーマンスなアプリケーションを様々な規模で実行できる、フルマネージドでありサーバーレスでもある Key-Value 型の NoSQL データベースです。そんな DynamoDB とゲームの相性を考えてる上でまずは DynamoDB の代表的な特徴をあげます Key-Value データベース : キーと値というシンプルな管理方法でデータを格納 高いスケーラビリティ : 一貫性のある高速パフォーマンスを自動でスケールしながら実現 低い管理負担 : バージョンアップやメンテナンスのような作業が不必要 次にそれぞれ
DynamoDBをS3へExportして、Glue+AthenaでSQLを実行する | フューチャー技術ブログ
はじめにフューチャーの棚井龍之介です。 業務ではDynamoDBを利用しており、連日DynamoDBコンソール画面と睨めっこをしています。DynamoDBのコンソール画面は特定のデータをピンポイントで探すには優秀ですが、データ集計には全く向いていません。 そのため、統計調査や障害調査などによりデータ分析が必要になった場合、毎度awscliコマンドとbashコマンドのコラボレーションで試行錯誤しながら集計することになります。 DynamoDBでのデータ検索は原則「スキャンとクエリ」のみです。SQLのWHERE句に似たfilterという機能はありますが、テーブル同士のJOINや複雑な条件絞り込みは難しいため「SQLが打てれば一瞬で解決できるのに、どうしてこんな面倒なんだ。これが低レイテンシの代償なのか」と考えていました。 何度もデータ集計をして、「aws dynamodb xx yy zz ~
こんにちは、クロスパワーの佐々木です。 とうとう私にも後輩ができまして、彼らの追い上げに焦る毎日です。 全くもって竹のような後輩です。 さて、以前Amplifyについてざっくりと書いたのですが、 AWS AppSyncについては、あまり馴染みが無い方も多いのではないかと思い、入門的な記事を書くことにいたしました。 【対象者】 〇 AWS AppSyncを最低限使えるようになりたい方 〇 AWS AppSync, GraphQL, DynamoDBを知らない 〇 竹のような後輩に焦りを感じている AWS AppSyncとは REST APIとは違う、GraphQLというAPI仕様を用いて「柔軟なAPI」を提供するマネジメントサービスです。 何が柔軟かと言えば、リクエストが来たらリソースを返すだけではなく、リクエストに応じてLambdaで処理を実行したり、HTTPリクエストをすることも可能なの
チュートリアル: Lambda と DynamoDB を使用した CRUD API の構築 - Amazon API Gateway
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 チュートリアル: Lambda と DynamoDB を使用した CRUD API の構築 このチュートリアルでは、DynamoDB テーブルから項目を作成、読み取り、更新、削除するサーバーレス API を作成します。DynamoDB は、高速で予測可能なパフォーマンスとシームレスな拡張性を特長とするフルマネージド NoSQL データベースサービスです。このチュートリアルの所要時間は約 30 分で、AWS の無料利用枠内で実行できます。 まず、DynamoDB コンソールを使用して DynamoDB テーブルを作成します。次に、AWS Lambda コンソールを使用して Lambda 関数を作成します。次に、API Gateway コンソールを使用して HTTP A
ストリーム処理のエラー制御がより柔軟に！！Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでチェックポイントが利用可能になりました #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaで新たに「チェックポイント」が利用できるようになり、処理が「途中まで成功した」という情報をLambdaだけで管理できるようになりました。 さっそく試してみたいと思います。 何が嬉しいのか？ Kinesis Data Streams/DynamoDB Streamsから起動するLambdaのイベントデータには、「バッチ」という処理単位で複数レコードの情報が渡ってきます。これまでLambda単体ではバッチ全体での処理成功/失敗しか表現できず、レコード単位での処理成功/失敗を管理するには別途DynamoDBなどを利用する必要がありました。 バッチの途中で処理が異常終了するケースについて考えてみましょう。例えば10レコードがLambdaに渡ってきた場合に7レコードまで処
はじめに こんにちは！ 最近仕事でDynamoDBの設計について議論をしているとき、「DynamoDBのテーブルは一つだけにすることがベストプラクティス」というのが少し盛り上がりました。スキーマレスなDynamoDBならではの議論で面白いですね。実は私が前職で開発をしていた時にこれに近いことを実践していて、なるべくDynamoDBのテーブルは少なくなるような設計を行っていました。 この記事はその手法を共有したいと思います。 本記事の対象読者 DynamoDBを使ったことがある方 ハッシュキー、レンジキー、LSI、GSIがどういうものか何となく理解できている方 なぜDynamoDBのテーブルは少ないほうが良いのか？ ひと昔前はAWSのDynamoDB開発者ガイドに DynamoDB アプリケーションではできるだけ少ないテーブルを維持する必要があります。設計が優れたアプリケーションでは、必要な
はじめにこんにちは、TIG DXユニット真野です。 タイトルのみで内容にあたりがつく、AWSお兄さんな方も多いかと思いますが、内容サマリです。 一度着火済みであるDynamoDB Streamsイベントを再着火させる公式機能は存在しない（管理コンソールでボタンポチではできないという意図です） 何かしらのスクリプトでGet（Scan） + Put（Update）して、再度データ編集する必要がある この時、Get（Scan）した内容をそのままPutしてもDynamoDB Streamsは起動せず、何かしらの項目変更や項目追加が必要 ..です。 興味がある方向けに説明を続けます。 DynamoDB Streamsとは DynamoDB Streamsは、DynamoDBに対する項目の追加、変更、削除をイベントとして検出できる機能です。テーブルの項目が変更されるとすぐに、新しいレコードがテーブルの
DevDay Tokyo 2019での発表資料です。実際のセッションではサンプルコードと一緒に解説をした旨了承ください。
CData Drivers Real-time data connectors with any SaaS, NoSQL, or Big Data source.
Azure Cosmos DB から Amazon DynamoDB に移行する際に想定される相違点 | Amazon Web Services
Amazon Web Services ブログ Azure Cosmos DB から Amazon DynamoDB に移行する際に想定される相違点 (本記事は 2023/01/27に投稿された Differences to expect when migrating from Azure Cosmos DB to Amazon DynamoDB を翻訳した記事です。) Azure Cosmos DBのワークロードをAmazon DynamoDBに移行することを検討しているお客様から、どのような違いが想定されるのかと聞かれることがあります。この記事では、Azure Cosmos DBからDynamoDBへの移行時に想定される相違点と、それに備えるための計画について説明します。DynamoDBは、一般的なアクセスパターン (通常は大量のデータの保存と取得) に合わせて最適化された、サーバーレ
マテリアライズされた集計クエリでグローバルセカンダリインデックスを使用する - Amazon DynamoDB
急速に変化するデータ上で、ほぼリアルタイムの集約や主要メトリクスを維持することは、企業が意思決定を迅速に行う上で、ますます価値が高まりつつあります。例えば、音楽ライブラリでは、最も多くダウンロードされた曲をほぼリアルタイムに紹介する場合があります。 次の音楽ライブラリのテーブルレイアウトを考えてみましょう。 このテーブルの例では、songID をパーティションキーとして使用して曲を保存しています。このテーブルで Amazon DynamoDB Streams を有効にして、Lambda 関数をこのストリームにアタッチすることで、各曲がダウンロードされたときに、Partition-Key=SongID と Sort-Key=DownloadID を含むテーブルにエントリが追加されます。これらの更新が行われると、DynamoDB Streams で Lambda 関数がトリガーされます。この
DynamoDBのテーブルにCSVファイルから一括でデータをimportしてみた | DevelopersIO
こんにちは、崔です。 CSVファイルのデータをDynamoDBのテーブルにimportしたいと思ったことはありませんか？ こちらのAWSの公式ブログにおいて、これを実装するCloudFormationのテンプレートが提供されていましたので、試してみました。 やってみた 上記ブログ内のリポジトリからテンプレートをダウンロードします。 GitHub リポジトリ CSVToDynamo.templateファイル内の AttributeName の2箇所のパーティションキー名を uuid から利用予定のパーティションキー名に変更します。 "Resources": { "DynamoDBTable":{ "Type": "AWS::DynamoDB::Table", "Properties":{ "TableName": {"Ref" : "DynamoDBTableName"}, "Billing
3 つ以上の Lambda 関数をサブスクライブできますが、1 つの DynamoDB ストリームに 3 つ以上の Lambda 関数を使用すると、読み取りのスロットリングが発生する可能性があります。 AWS Lambda サービスは、1 秒に 4 回、ストリームをポーリングして新しいレコードを探します。新しいストリームレコードが利用可能になると、Lambda 関数が同期的に呼び出されます。同じ DynamoDB ストリームに最大 2 つの Lambda 関数をサブスクライブできます。 Lambda 関数は、通知の送信やワークフローの開始など、指定した他の多くのアクションを実行できます。各ストリームレコードを Amazon S3 File Gateway (Amazon S3) などの永続的ストレージにコピーするだけで、書き込みアクティビティの永続的な監査追跡をテーブルに作成する Lamb
背景 AWS使ってサーバーレスで自分用の家計簿的なwebサービスを勉強も兼ねて開発中。消費情報を登録する部分を作り、最近それに加えて残金管理を出来るようにした。 そうなると１つの消費情報登録で、複数のテーブルに対して更新を行う事になる。整合性を保つために、トランザクション制御を行いたい。 防ぎたいケース 片方のテーブル更新後、別テーブルの更新に失敗による不整合データ発生 複数人同時処理時、更新前データ取得による不正値更新（自分しか使わないけど） DynamoDBの特性復習 読み込み整合性 を強力にする事は出来るが、基本的に結果整合性を使うべき。（複数ノードに書き込まれる前に読み出すと古いデータが読まれる） javaでDynamoDBトランザクションを実現してるライブラリ が存在する 2018年末にDynamoDBのトランザクション機能 が発表された。前述ライブラリでなく、こちらを使用するの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDBテーブルをクエリ/スキャンする方法 | Oji-Cloud
DynamoDBとCloud Spannerのパフォーマンスの比較 - Tech Inside Drecom
API Gateway + Lambda + DynamoDB サーバレスWebAPI開発まとめ - Qiita
DynamoDB 用の NoSQL Workbench のダウンロード - Amazon DynamoDB
Create and Query a NoSQL Table with Amazon DynamoDB
API Gateway + Lambda + DynamoDB - Qiita
Amazon DynamoDBのキャパシティユニット消費パターンを整理してみた - Qiita
DockerでDynamoDBのローカル開発環境を構築するための下準備まとめ - Qiita
AppSyncでGraphQLへの入門| GraphQL, DynamoDBを知らない方へ - クロスパワークラウドブログ
DynamoDBテーブル数を少なめで運用するためのテーブル設計
オレのDynamoDB Streamsが再着火しないわけがない | フューチャー技術ブログ
40分で分かる DynamoDBでのApp開発
Connect to Amazon DynamoDB Data in IntelliJ
DynamoDB Streams と AWS Lambda のトリガー - Amazon DynamoDB
DynamoDBでのトランザクションを実際に使って考えてみる。 - Qiita