「DynamoDB VS ElasticSearch！🤔データアクセス思考なDBMS使い分けの思考方法を解説します！😎」低コストなモダナイズ開発の実践 | Ragate
DynamoDB VS ElasticSearch！🤔データアクセス思考なDBMS使い分けの思考方法を解説します！😎 こんにちは！ 最近のAWSサーバーレス開発プロジェクトでは、DynamoDB・ElasticSearch の組み合わせがデファクトスタンダートになってきています。うまく設計できれば、RDBMS よりも遥かにハイパフォーマンスで可用性の高い DBMS を構築が可能です。 しかし現場から時折「 DynamoDB設計は理解できたけど、ElasticSearch との使い分けに悩む 」といった声が挙がってきます。実際、ElasticSearch の導入は実装・費用面でコスト高になりやすい傾向にあるので、DyanamoDB の設計後に行うプロジェクトが多いですよね。 本記事では、DynamoDB の設計・実装経験のある方向けに、ElasticSearch との使い分け思考方法を解
AWS Lambda now makes it easier to build analytics for Amazon Kinesis and Amazon DynamoDB Streams
Customers can now use AWS Lambda to build analytics workloads for their Amazon Kinesis or Amazon DynamoDB Streams. For no additional cost, customers can build sum, average, count, and other simple analytics functions over a contiguous, non-overlapping time windows (tumbling window) of up to 15 minutes per shard. Customers can consolidate their business and analytics logic into a single Lambda func
Amazon DynamoDB で機密データを保護するためのベストプラクティスの適用 | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB で機密データを保護するためのベストプラクティスの適用 このシリーズの最初の記事であるAWS データストア内の機密データを保護するためのベストプラクティスでは、いくつかの一般的なセキュリティの概念と、AWS データストアに適用できる AWS セキュリティコントロールについて説明しました。これらを使用して、データに関わるセキュリティ体制をより強固にすることができます。2 番目の記事であるAmazon RDS で機密データを保護するためのベストプラクティスの適用では、こうした概念を Amazon RDS データベースで実装する方法を示しました。この 3 番目であり、最後の記事では、これらの概念を Amazon DynamoDB で実装する方法を示します。 データの分類とセキュリティゾーンモデリング 処理しているデ
DynamoDB Table Creation: With CDK and TypeScript | DevelopersIO
In this blog, we'll create a simple DynamoDB table using the power of CDK and TypeScript. But before that, let's know about CDK, the Cloud Development Kit. It's an open-source framework that empowers developers to define their desired cloud resources within the familiar comfort of their preferred programming language. CDK offers a higher level of abstraction, allowing us to write concise and maint
Cassandra のコアコンポーネント Cassandra は Amazon EC2 などのインフラストラクチャサービス上にインストールし、そこで管理する必要があります。これで、Cassandra の基盤インフラストラクチャコンポーネントであるノード、クラスター、データセンターの管理上の負担を軽減できます。ここで使用するデータセンターという用語は Cassandra 固有の用語です。データセンターの一般的な定義と混同しないよう注意してください。ノードがデータを保存します。データセンターが集合したものをクラスターといいます。Cassandra データセンターは関連するノードの集合で、物理データセンターまたは仮想データセンターのいずれかです。ワークロードごとにそれぞれ別のデータセンターを使用し、ワークロードのトランザクションが相互に影響しないようにする必要があります。 Cassandra は
はじめに DynamoDBを使っていると、とかくテーブルは1つにまとめるべきという声や、複数テーブルからシングルテーブル設計に移行したという事例を耳にすることがあります。 しかし、その理由を聞いてみると、性能のためだったり管理を簡単にするためだったり、人により異なる印象です。 NoSQLにおける非正規化してデータをもつプラクティスは理解しつつ、その域を超えて全く無関係なItemを1テーブルにまとめる場合もあるようです。 私自身このトピックについて混乱していた中で、先日 The What, Why, and When of Single-Table Design with DynamoDB というブログを見つけました。 それを読んだ上で考えると、割と理解が整理できたので、この記事にまとめてみます。 なお私はDynamoDBの運用経験がまだ十分にあるわけではないので、勘違いや考慮漏れなどあるか
DockerでRails+React+dynamodb-local環境をつくりたい - Qiita
FROM ruby:2.7.5 as base RUN apt-get update && apt-get install -y build-essential make RUN curl -fsSL https://deb.nodesource.com/setup_lts.x | bash - && apt-get install -y nodejs RUN npm install --global yarn RUN mkdir /app WORKDIR /app COPY ./backend/Gemfile /app/Gemfile COPY ./backend/Gemfile.lock /app/Gemfile.lock RUN bundle install COPY ./backend /app FROM base as dev services: app: build: ./do
DynamoDBを使いだして、DynamoDBの仕様やNoSQLへの理解不足ゆえに、あーこれ設計ミスったなーとか、設計段階で考慮すべきだった問題が噴出してきたので、知見をまとめてみます。 テーブル設計より先にデータ利用シーンを洗い出す AWSの公式ドキュメントには、次のように書いてあります。 NoSQL 設計では、RDBMS 設計とは異なる考え方が必要です。RDBMS の場合は、アクセスパターンを考慮せずに正規化されたデータモデルを作成できます。その後、新しい質問とクエリの要件が発生したら、そのデータモデルを拡張することができます。各タイプのデータを独自のテーブルに整理できます。 NoSQL 設計は異なります。 DynamoDB の場合は対照的に、答えが必要な質問が分かるまで、スキーマの設計を開始しないでください。ビジネス上の問題とアプリケーションのユースケースを理解することが不可欠です。
DynamoDBのテーブルにCSVファイルから一括でデータをimportしてみた | DevelopersIO
こんにちは、崔です。 CSVファイルのデータをDynamoDBのテーブルにimportしたいと思ったことはありませんか？ こちらのAWSの公式ブログにおいて、これを実装するCloudFormationのテンプレートが提供されていましたので、試してみました。 やってみた 上記ブログ内のリポジトリからテンプレートをダウンロードします。 GitHub リポジトリ CSVToDynamo.templateファイル内の AttributeName の2箇所のパーティションキー名を uuid から利用予定のパーティションキー名に変更します。 "Resources": { "DynamoDBTable":{ "Type": "AWS::DynamoDB::Table", "Properties":{ "TableName": {"Ref" : "DynamoDBTableName"}, "Billing
GoogleForm,GASからAPI Gateway, Lambdaで入力情報をDynamoDBに格納する - ヤマムギ
Google Apps Script フォーム回答のGoogleスプレッドシートで[ツール]-[スクリプトエディタ]を選択しました。 名前をデフォルトから変更しました。 eventをそのまま、API Gatewayで作成したAPIへPOSTしました。 function ddbdemo(event) { console.log(event); var parameters = { 'method': 'post', 'contentType': 'application/json', 'payload': JSON.stringify(event) }; var api_endpoint = 'https://xxxxxxxx.execute-api.us-east-1.amazonaws.com/v1/food'; var response = UrlFetchApp.fetch(api_
Lambda(Go)でDynamoDBのデータ取得・登録(GET/POST)をしてみた | DevelopersIO
こんにちは、ゲームソリューショングループのsoraです。 今回は、Lambda(Go)でDynamoDBのデータ取得・登録(GET/POST)をしてみたことを書いていきます。 データは都道府県名・県庁所在地・地域をカラムとして持つもので、都道府県名を渡すことで県庁所在地と地域を取得でき、全ての値を与えることで登録もできるようにしていきます。 LambdaとDynamoDBの作成 今回はTerraformを使って作成します。 Terraformソースコード まずは、AWS側で必要なサービスを作成します。 terraform { #AWSプロバイダーのバージョン指定 required_providers { aws = { source = "hashicorp/aws" version = "~> 4.51.0" } } } #AWSプロバイダーの定義 provider aws { regi
ChatGPTにテストコード(Jest)を渡すだけでAmazon DynamoDBにクエリをするコードを書いてもらえました | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 まずは次の動画をご覧ください。 何をしているかと言うと、今世界を大きく揺るがしているChatGPTにテストコード(Jest)を渡して、SDKを使ってAmazon DynamoDBにクエリをするコードを書いてもらった様子です。 この時ChatGPTに渡したテキストです。 Jestを使用した下記のテストコードの実行が成功する関数を記述して。 ```js const DATA_TABLE_NAME = 'dummy-dataTable'; process.env.DATA_TABLE_NAME = DATA_TABLE_NAME; import { mockClient } from 'aws-sdk-client-mock'; import { QueryCommand, } from '@aws-sdk/client-dynamodb';
こんにちは、DA部の下地です。 DynamoDBテーブルからScanでデータを取得する際は1回の呼び出しで1MBまでしか取得できません。1MB以上のデータを全件取得するにはScan実行時のレスポンスに含まれているLastEvaluatedKeyを使用してループ処理を実装する必要があります。LastEvaluatedKeyについては下記サイトをご参照ください。 今回は、1MB以上のデータをScanで取得しようとした際に全件取得できなかったので改善した実装内容についてまとめます。 1. 実装環境 実行環境は以下のようになっています。 boto3: 1.12.33 python: 3.7.0 CLI: aws-cli/2.0.12 2. 前準備 まずはじめに、下記公式サイトのCloudFormationテンプレートを使用してDynamoDBテーブルを作成します。投入するCSVデータは10万行(1
DynamoDBで柔軟な検索をする - Qiita
この記事の目的 Amazon DynamoDB(以下DynamoDBと記載)の可用性や書き込みのスループットの高さには大変魅力を感じています。 しかしながら、RDBとは全く異なる発想での設計が必要な点や、検索処理の自由度の低さに対しての有効な手立てを持ち合わせていない（スキルの問題）などがあり、なかなか実案件で採用するに至っていません。 そんな折に、とあるセミナーでDynamoDBの設計ノウハウを学ぶことが出来ましたので、その内容を自分なりに整理するためにこの記事を書きました。 （なお、セミナー主催者には本内容を記事で公開してよい旨の了解をいただいています。） 試したこと 試したことは大きく２つあります。 転置インデックスを用いて、ある程度複雑なデータモデルを１テーブルで処理する パーティションキーの属性で前方一致検索をする方法を模索する 表記ルール DynamoDBの用語については、文末
はじめにこんにちは。TIG DXユニット所属の村上です。 最近データ分析絡みでDynamoDBを触る機会が多く、DynamoDBが体の一部みたいになってきました。 本記事の結論はこれです。 大量に取得したいデータに共通して存在する値の属性をGSIとして設定しよう 予備知識から順に解説していきます。 ScanとQueryDynamoDBにはScanとQueryという操作が存在します。それぞれ簡単に説明すると、以下のようになります。 Scan：DB全体を取得する操作 Query：指定した属性に指定した値を持つデータのみを抽出して取得する操作 取得したいデータがDBに存在するほとんど全てのデータであれば、Scanで取得するのが効率的なのですが、必ずしもそのような状況であるとは限りません。Queryによって、特定の値を持つデータのみを取得したい場合もあると思います。 今回は後者の場合を想定し、Qu
DynamoDBテーブルからStartとEndの期間を指定して任意デバイスのデータを取得する | DevelopersIO
KeyConditionExpressionのbetweenで開始時刻と終了時刻を指定しています。 import json import boto3 from boto3.dynamodb.conditions import Key TABLE_NAME = 'door-usage-table' START_TIMESTAMP = 1599711000000 # 2020-09-10T13:10:00 END_TIMESTAMP = 1599711620000 # 2020-09-10T13:20:20 dynamodb = boto3.resource('dynamodb') def get(): table = dynamodb.Table(TABLE_NAME) for device_number in range(3): data = get_usage(f'door-{devic
import dql import boto3 import os table_name=os.environ['TABLE_NAME'] # dynamodb engine = dql.Engine() c = engine.connect( region=os.environ['AWS_DEFAULT_REGION'], access_key=os.environ['AWS_ACCESS_KEY_ID'], secret_key=os.environ['AWS_SECRET_ACCESS_KEY'], host=os.environ['HOST'], port=int(os.environ['PORT']), is_secure=False ) print("--scan--") results = engine.execute(f"SCAN * FROM {table_name} L
DynamoDBのData Export機能を使って、データを定期的にS3にエクスポートする | DevelopersIO
CX事業本部の佐藤です。元々、DynamoDBのデータをエクスポートするには、Glueジョブを使用したり、Data Pipelineを使用する必要がありました。それが最近のアップデートで、DynamoDBの機能としてS3にエクスポートする機能が実装されました！ New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required この機能を使って、定期的にS3にエクスポートする構成をEventBridge、Lambdaを使って作成していきたいと思います。 この記事ではDynamoDBのデータを単純にエクスポートするだけですが、ETLのようなデータ変換処理が必要な場合にはGlueを使う必要があります。GlueとStepFunctionsを使用したサンプルは以下の弊社ブロ
Python (boto3) で DynamoDB の条件付き項目追加・更新をやってみる - michimani.net
DynamoDB の項目追加 put_item() については過去に書いたのですが、その時は必須パラメータのみを指定して動作を確認しました。今回は、オプションパラメータを使用して項目の追加と更新をやってみます。 過去に書いた記事はこちら。 目次 準備 テーブルの作成 サンプルデータのロード 項目の条件付き追加・更新 既に存在する項目と同じキーを持つ項目を追加しようとしたときに上書きされるのを防ぐ 特定の条件を満たす場合のみ更新する まとめ 準備 今回は AWS の公式ページにあるサンプルデータを使います。 ステップ 1: サンプルテーブルの作成 - Amazon DynamoDB いくつかサンプルのテーブルとデータが用意されていますが、その中の Thread テーブルのデータを使います。 テーブルの作成 上のリンクではマネジメントコンソールでのテーブル作成手順が載っていますが、テーブルの作
AWS SAMでGo+API Gateway+Lambda+DynamoDBのサーバレスAPI構築をIaC化した - Qiita
AWSTemplateFormatVersion: '2010-09-09' Transform: AWS::Serverless-2016-10-31 Description: go-serverless-app-4 Resources: Function: Type: AWS::Serverless::Function Properties: FunctionName: PostAmazonURLFunction Handler: PostAmazonURLFunction Role: !GetAtt FunctionRole.Arn Runtime: go1.x CodeUri: . Timeout: 60 Architectures: - x86_64 Events: CatchAll: Type: Api Properties: Path: /post Method: POST
はじめに 弊社の主な事業はスマホ向けゲームの開発と運営で、DBもゲーム向けのものに関心があります。AWS(Amazon Web Services)とGCP(Google Cloud Platform)でソリューションを検索すると、それぞれDynamoDBとCloud Spannerをゲーム向けと位置づけています。DBの選定はパフォーマンス以外の要因で決まることが多いのですが、純粋なパフォーマンスも知っておきたく、調べてみることにしました。（追記：GCPのサービスのベンチマークを公開する場合は、Googleから書面による同意をもらうなどの要件があります。AWSの方は、再現に必要なすべての条件を公開していれば済みます。） なお本稿はサーバーエンジニアを対象とした内容になっています。 アクセスの種類 スマホ向けゲームはDBアクセスにおいて一般に書込みの割合が多いアプリケーションであり、同時にチー
[AWS Glue]S3とDynamoDBから取得したデータを結合（Join）するジョブを作ってみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 AWSのETLサービスであるAWS Glueでは、Amazon S3、Amazon Redshift、Amazon DynamoDBなど様々なサービスにデータソース/ターゲットとして接続することができます。 Connection Types and Options for ETL in AWS Glue - AWS Glue 今回は、AWS GlueでS3とDynamoDBから取得したデータを結合（Join）するジョブを作ってみました。 作ってみた 以下のような構成の、デバイスからIoT Core経由で送信される生データ（devices_raw_data）と、DynamoDBにて定義したデバイステーブル（devices）のデータを、GlueジョブでデバイスIDを元にして結合して分析用データ（devices_integrated_data）を作成する仕組
![[AWS Glue]S3とDynamoDBから取得したデータを結合（Join）するジョブを作ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
Amazon DynamoDBの概要やテーブル設計の基礎について解説した本となります。 AWS AppSyncやAWS AmplifyからDynamoDBを初めて触る人やサーバーレスアーキテクチャをやる人向けです。
DynamoDBテーブルからレコードを抽出したい びっくり。DynamoDBのコンソールは検索に弱い… DynamoDBで多くのレコードが登録されたテーブルの場合、AWSコンソールから条件を指定してフィルターしても検索が中断されてしまい、検索結果が表示されないことが分かりました。残念、コンソールでは多くのレコードを持つテーブルでのレコード検索ができませんでした！（驚 次に、AWS CLI を使い、テーブルをscanして安易に全レコードをファイルにリダイレクトしましたが時間が掛かり…、効率的ではありませんでした（汗 DynamoDBのテーブルをクエリする 次にドキュメントを読みながら、テーブルのクエリを行います。初めてのクエリで複雑な指定に戸惑いましたが、KeyConditionsを指定することでレコードの条件が指定できます。以下ドキュメントに、aws dynamodb query –key
【AppSheet】スマホでスキャンしたQRコードの情報をDynamoDBに登録するアプリを作ってみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 今回は、ノーコード開発プラットフォームAppSheetを使用して、スマホでスキャンしたQRコードの情報をDynamoDBに登録するアプリを作ってみました。 やってみる アプリ作成の準備 アプリ作成の準備としてAWS側とAppSheet側で下記の実装を行いました。手順は前回の記事の内容の記載のままですのでここでは省略します。 AWS側の実装 DynamoDBテーブルの作成 S3バケットの作成 IAMポリシーの作成 IAMユーザーの作成、ポリシーのアタッチ、APIキーの発行 AppSheet側の実装 データソースの追加 DynamoDBテーブルは下記内容で作成しました。 テーブル名：scanned_data パーティションキー：scannedContent アプリの作成 続いてアプリを作成します。 DynamoDBテーブルとの接続 AppSheetのコンソ
Amazon DynamoDBに感じた痛み
Amazon Redshiftのプロダクトマネジメント・ディレクターを勤めているEugene KawamotoさんがAmazon DynamoDBが誕生した歴史から、周知し、普及していく過程についてTweetされている。 前半の話、Amazon DynamoDBが分散型KVSとして誕生した過程に関する話は非常に良かった。Amazon DynamoDBの論文は初めて拝見したし、分散型KVSの目的を認識し、来日時のエピソードにほっこりさせられた。 自分として非常に突っかかりを覚えてたのは後半の話になる。こちらではAmazon DynamoDBが既存のKVSでありOSSであり競合であったApache Cassandraに打ち勝ち、シェアを勝ち取っていった過程を説明している。 自分なりに説明を補ってみる。当時の分散型KVSのメインユーザーはアドテク企業(インターネット広告の最適化を行い、広告による
Amazon EventBridge SchedulerでDynamoDB APIを直接呼び出してみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 先日にAWSの新機能としてAmazon EventBridge Schedulerがリリースされました。 Amazon EventBridge Launches New Scheduler タイムゾーンを指定した定期実行を行えたり、AWSサービスのAPIを直接実行できたりとなかなかに便利そうです。 今回は、そんなAmazon EventBridge Schedulerを使って、DynamoDB APIを直接呼び出してみました。 やってみた Amazon EventBridge SchedulerコンソールからSchedulerを作成してみます。 [Create schedule]をクリック。 スケジュールパターンを指定して[Next]。 [Select target > Taget detail > Taget API]で[All API
とりあえず「API Gateway + Lambda + DynamoDB」の構成でWebAPIを開発する際には以下が参考になると思います。 まずは簡単なサーバーレスアプリケーションを作成して感覚を掴むのが良いと思います。 初めてのサーバーレスアプリケーション開発 ～DynamoDBにテーブルを作成する～ 初めてのサーバーレスアプリケーション開発 ～LambdaでDynamoDBの値を取得する～ 初めてのサーバーレスアプリケーション開発 ～API GatewayからLambdaを呼び出す～ スマホアプリなどのクライアントからのHTTPリクエストは、API Gatewayで受け付けてLambda関数で処理されます。API GatewayではLamba関数に渡す前のデータ形式を調整し、Lambda関数から返ってきたデータの形式を調整してクライアントにHTTPレスポンスとして返却します。 初期設
[速報]Amazon DocumentDBおよびAmazon DynamoDBのベクトルサーチ機能が一般提供開始に！ #AWSreInvent | DevelopersIO
データアナリティクス事業本部 機械学習チームの鈴木です。 re:Invent2023のキーノートのうち、現在開催中のDr Swami Sivasubramanian Keynoteで、Amazon DocumentDBおよびAmazon DynamoDBのベクトルサーチ機能の一般提供が発表されました！ AWS News Blogにも紹介記事が出ていました。 機能について ドキュメントデータベース内でミリ秒の応答時間で数百万のベクトルを保存し、インデックス付け、検索できる新しい組み込み機能とのことです。 AWS News BlogではAmazon DocumentDBでの例が紹介されていました。 LLMで埋め込みモデルを作成する。 insertMany( [{},...,{}] )でDocumentDBに生成されたベクトル埋め込みを追加する。 createIndexでベクトルインデックスを作
![[速報]Amazon DocumentDBおよびAmazon DynamoDBのベクトルサーチ機能が一般提供開始に！ #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
利用するサービス ・DynamoDB ・IAM ・Lambda ・API Gateway 1.DynamoDB でテーブルを作成する DynamoDB を開き、「テーブル」から「テーブルの作成」をクリック。 [テーブル名]に 「demo_test」 、[プライマリキー]に「test_id」と入力し、「作成」。 「項目」から「項目の作成」をクリック。 「Append」から「String」を追加します。 「name」を追加し、以下のように入力します。 同様に以下のテーブルになるように作成してください。 2.Lambda関数を作成する 2つの権限をもつ、IAMロールを作成しておきましょう。 AWSLambdaBasicExecutionRole：ログの書き込み権限 DynamoDBAmazonDynamoDBFullAccess：DynamoDBへのアクセス権限 Lambda を開き、「関数の作
新しい edX コースで Amazon DynamoDB を使用した NoSQL データベース指向アプリケーションを構築する方法 | Amazon Web Services
Amazon Web Services ブログ 新しい edX コースで Amazon DynamoDB を使用した NoSQL データベース指向アプリケーションを構築する方法 最近の組織は絶えずデータからより大きな価値を得る方法を探しており、そのことによりチームや個人が AWS クラウドでデータ指向のアプリケーションを構築する方法を理解することがますます重要になっています。 データ環境はさらに多くのクラウドベースのデータベースを含むように進化し続け、ますます多くの開発者がアプリケーションの特定のニーズを満たす専門的に構築された非リレーショナルデータベースを選択するようになっています。 データベースサービスをご使用のお客様は、必要なデータタイプ、アクセスモデル、そして拡張性に適したデータベースを評価して選択することが求められます。このために、この AWS トレーニングと認定がコースを設
GitHub - aaronshaf/dynamodb-admin: GUI for DynamoDB Local or dynalite
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[アップデート] Amazon DynamoDBがPrivateLink (インターフェイス型VPCエンドポイント) をサポートしました | DevelopersIO
[アップデート] Amazon DynamoDBがPrivateLink (インターフェイス型VPCエンドポイント) をサポートしました 閉域網やVPNの接続元からDynamoDBにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんは閉域網やVPNの接続元からDynamoDBにアクセスしたいなと思ったことはありますか? 私はあります。 従来DynamoDBはGateway型のVPCエンドポイントしかサポートされていませんでした。そのため、Direct Connect(Private VIF or Tranit VIF)やSite-to-Site VPNの接続元からアクセスする際にはVPC上にプロキシを用意する必要がありました。 今回、Amazon DynamoDBがPrivateLink (インターフェイス型VPCエンドポイント) をサポートしました AWS Blog
![[アップデート] Amazon DynamoDBがPrivateLink (インターフェイス型VPCエンドポイント) をサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/38e9929fa6251377ccd1a0b39defb8126be9eef4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-dynamodb.png)
AWS DVA（AWS Certified Developer - Associate）試験の勉強をするなかで、Amazon DynamoDBのキャパシティユニットの消費パターンがややこしかったので整理してみます。 というか公式ドキュメントがテキストの羅列で非常に見づらかったため、表形式にまとめました。 公式ドキュメント 読み込みリクエストの場合 整合性レベルが上がるたび、ユニット数が倍になっていくイメージです。 リクエストの種類 基準サイズ 必要ユニット数
BatchWrite import { DynamoDBClient, WriteRequest, BatchWriteItemCommand, } from '@aws-sdk/client-dynamodb' const writeRequests: WriteRequest[] = [ { PutRequest: { Item: { id: { S: 'CM0001' }, name: { S: 'クラメソ太郎' }, role: { S: '管理者' }, }, }, }, { PutRequest: { Item: { id: { S: 'CM0002' }, name: { S: 'クラメソ二郎' }, role: { S: '一般' }, }, }, }, ] const dynamoDBClient = new DynamoDBClient({}) const tableN
DynamoDB上のデータをファイルにエクスポートする際のJSONシリアライズについて考えてみる（スクリプト付き） | DevelopersIO
こんにちは、CX事業本部の若槻です。 Pythonによる実装で、辞書（dict型オブジェクト）データをファイルに書き込んだり、AWS LambdaからLambdaを呼び出す際のペイロードに指定したりする場合は、その辞書データは事前にjson.dump()やjson.dumps()などのJSONエンコーダによりJSONシリアライズされている必要があります。 今回は、DynamoDBから取得したデータをローカルファイルに書き込み（エクスポート）する際のJSONシリアライズの方法について考えてみた上で、一連の処理を行うPythonスクリプトを作ってみました。 DynamoDBから取得したデータはどんな型を取りうる？ まず、そもそもDynamoDBから取得したデータはどんな型を取りうるのかを確認してみます。 AWSドキュメント[命名ルールおよびデータ型 - Amazon DynamoDB]によると
Amazon DynamoDB 向け NoSQL Workbench を使用したデータモデリング | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB 向け NoSQL Workbench を使用したデータモデリング Amazon DynamoDB などの NoSQL データベースを使用する場合、リレーショナルデータベースで慣れているものとは異なる最適化を選択する傾向があります。リレーショナルデータベースの経験から、最初は別の方法で実行するように指示されていたため、簡単ではありませんでした。 これを支援するために、AWS は Windows および macOS で利用可能なクライアント側アプリケーションである Amazon DynamoDB 向け NoSQL Workbench をリリースしました。これを使用して、スケーラブルで高性能なデータモデルを構築し、クエリの開発とテストを簡素化できます。NoSQL Workbench を使用すると、次のことができま
はじめに AWS DynamoDBでphpのセッションを管理します。 マルチAZの場合、複数のEC2でセッション情報を同期する必要があります。 その場合、候補に上がるのが、 DynamoDBかElastiCacheになるはずです。 1. IAMポリシーの作成 EC2インスタンスにアタッチしているロールに、このポリシーを割り当てます。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "dynamodb:GetItem", "dynamodb:UpdateItem", "dynamodb:DeleteItem", "dynamodb:Scan", "dynamodb:BatchWriteItem" ], "Resource": "arn:aws:dynamodb:ap-northeast-1:
はじめに DynamoDBを使用したアプリケーションを開発・テストしていると、AWS上のリソースを利用する必要が生じます。 しかしDynamoDB localを利用することで、アプリケーションの開発やテストをローカル環境で行えるようになります。 本記事では、DockerでDynamoDBのローカル開発環境を構築する方法と関連するツールについてまとめました。 DynamoDB localのコンテナ生成 DynamoDB localのDockerイメージを利用します。 DynamoDB localを使えば、AWS上のDynamoDB(Webサービス)に接続することなくDynamoDBを使ったアプリケーションの開発やテストができるようになります。 AWS公式ドキュメントをもとにdocker-compose.ymlを記述するだけで、簡単にDynamoDB localのコンテナを用意することができま
DynamoDBの scan() でフィルターを使って取得したデータが0件でも、続きのデータが存在するか確認してみた | DevelopersIO
DynamoDBの scan() でフィルターを使って取得したデータが0件でも、続きのデータが存在するか確認してみた DynamoDBのscan()やquery()で続きのデータがあるか判断するときは、取得したデータ件数ではなく、LastEvaluatedKeyで判断しましょう。 DynamoDBテーブルでscan()やquery()を使うとき、フィルタを使うことがあります。 そこでふと気になりました。フィルタ適応後のデータが0件でも、続きはあるよね？と。 最初にまとめ DynamoDBでscan()やquery()を使うとき、「続きのデータがある？（最後のデータ？）」の判断は、LastEvaluatedKeyを参照しましょう。データ件数で判断しないように注意です。 DynamoDBテーブルを準備する 以前に作成したDynamoDBテーブルを流用します。 scan()で調べてみる 1回のs
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cassandra 開発者向け Amazon DynamoDB 入門 | Amazon Web Services
DynamoDB、シングルテーブルにするか否か - maybe daily dev notes
DynamoDBのテーブル設計時に気を付けること | It works for me
ScanでDynamoDBテーブルから1MB以上のデータを取得する方法について | DevelopersIO
DynamoDBから効率的に大量のデータを取得する方法 | フューチャー技術ブログ
DynamoDBをPythonからSQLっぽく操作する。 - Qiita
DynamoDBとCloud Spannerのパフォーマンスの比較 - Tech Inside Drecom
DynamoDB はじめる前に読む本 - Gravity Pianist - BOOTH
DynamoDBテーブルをクエリ/スキャンする方法 | Oji-Cloud
API Gateway + Lambda + DynamoDB サーバレスWebAPI開発まとめ - Qiita
API Gateway + Lambda + DynamoDB - Qiita
Amazon DynamoDBのキャパシティユニット消費パターンを整理してみた - Qiita
Node.js AWS SDK v3でDynamoDB操作してみた | DevelopersIO
Amazon DynamoDBでphpのセッションを管理する - Qiita
DockerでDynamoDBのローカル開発環境を構築するための下準備まとめ - Qiita