AWS Lambda launches checkpointing for Amazon Kinesis and Amazon DynamoDB Streams
AWS Lambda now allows customers to automatically checkpoint records that have been successfully processed for Amazon Kinesis and Amazon DynamoDB Streams, using a new parameter, FunctionResponseType. When customers set this parameter to “Report Batch Item Failure”, if a batch fails to process, only records after the last successful message are retried. This reduces duplicate processing, and gives c
DynamoDBでGSIやLSIのキーは重複や値なしが許容されるのか確認してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 今回は、DynamoDBでGSI（グローバルセカンダリインデックス）やLSI（ローカルセカンダリインデックス）のキーは重複や値なしが許容されるのか気になったので確認してみました。 確認してみた 次のようなDynamoDBテーブルを使用して確認します。 { "Table": { "AttributeDefinitions": [ { "AttributeName": "createdAt", "AttributeType": "N" }, { "AttributeName": "objectId", "AttributeType": "S" }, { "AttributeName": "objectType", "AttributeType": "S" }, { "AttributeName": "updatedAt", "AttributeType":
はじめに データベースにDynamoDBを使ってアプリケーション開発を行っているときに、クエリ結果を複数ページに分けて取得するページング/ページネーション処理を実装する必要が出てきた。 DynamoDBでは、結果が複数ページに分かれる際にはレスポンスの中に次ページの情報を表す文字列（NextToken）が返ってくるので、それを使って次のページのリクエストを再度発行すればよい。 しかし、1ページ目に当たるデータを取得した後にDynamoDBテーブル上のデータが増減した場合、1ページ目の結果と共に返されたNextToken を使って2ページ目のクエリを行うとどのような結果が返るのかという疑問に至った。 そこで、シンプルなテストデータを挿入しつつAWS CLIからクエリを実行して検証してみた。 DynamoDBテーブルを作ってテストデータを入れる 検証のためにDynamoDBに SamplePo
DynamoDB LocalのDockerイメージを使う際の「WARNING: [sqlite] cannot open DB[*]: com.almworks.sqlite4java.SQLiteException: [*] unable to open database file」の解決方法3つ - Qiita
はじめに dynamonodb-localのDockerイメージを使用する際に、データの永続化のためにvolumesを指定したが、以下のようにwarningが出てホスト側のマウント先に書き込みができずに困った。今回はその解決策について備忘録を残す。 dynamodb-local | WARNING: [sqlite] cannot open DB[1]: com.almworks.sqlite4java.SQLiteException: [14] unable to open database file dynamodb-local | Apr 30, 2022 12:02:35 PM com.almworks.sqlite4java.Internal log dynamodb-local | SEVERE: [sqlite] SQLiteQueue[shared-local-instan
![DynamoDB LocalのDockerイメージを使う際の「WARNING: [sqlite] cannot open DB[*]: com.almworks.sqlite4java.SQLiteException: [*] unable to open database file」の解決方法3つ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b14537c55501efc3e7d0c490eb89b13dadfee7d4/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9RHluYW1vREIlMjBMb2NhbCVFMyU4MSVBRURvY2tlciVFMyU4MiVBNCVFMyU4MyVBMSVFMyU4MyVCQyVFMyU4MiVCOCVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSU4NiVFOSU5QSU5QiVFMyU4MSVBRSVFMyU4MCU4Q1dBUk5JTkclM0ElMjAlNUJzcWxpdGUlNUQlMjBjYW5ub3QlMjBvcGVuJTIwREIlNUIlMkElNUQlM0ElMjBjb20uYWxtd29ya3Muc3FsaXRlNGolRTIlODAlQTYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWM4Mjc5MjJhZjY0ZThiNWRjNTExMzI5YTgzODRkOWVj%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5dXRhLWthdGF5YW1hLTIzJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kODQwOGVlY2FlM2Y3YTBjNDY0ZmViOTY4ZGYwNjNjYQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3De3033c14c0afcd0b3d09aa8637fbd3d3)
Connect a React app to GraphQL and DynamoDB with AWS CDK and Amplify | Amazon Web Services
Front-End Web & Mobile Connect a React app to GraphQL and DynamoDB with AWS CDK and Amplify Today, we’re excited to announce the official AWS Cloud Development Kit (CDK) construct for Amplify’s GraphQL APIs capabilities. With Amplify’s GraphQL API CDK construct, you can create a real-time GraphQL API backed by data sources such as Amazon DynamoDB tables or AWS Lambda functions using a single Graph
AWS re:Invent 2019 で開催予定の Amazon DynamoDB セッション、ワークショップ、およびチョークトークのご案内 | Amazon Web Services
Amazon Web Services ブログ AWS re:Invent 2019 で開催予定の Amazon DynamoDB セッション、ワークショップ、およびチョークトークのご案内 AWS re:Invent 2019 がもうすぐ開催されます! この記事には、AWS re:Invent 2019 で行われる、Amazon DynamoDB セッション、ワークショップ、チョークトークの全リストを掲載しています。この記事の情報で、今年のラスベガスでのコンファレンスウィークをうまくスケジューリングしましょう。上司を説得できず、まだ AWS re:Invent 2018 に登録していない方々は、こちらの 出張の必要性についてのメモをお読みください。 レベル 200 – 入門 DAT205 – Verizon Media が Amazon DynamoDB を使用してプッシュ通知を実施す
DynamoDB Streamで渡されるeventデータの表示タイプごとの内容をまとめてみた | DevelopersIO
上記それぞれの表示タイプの時に、テーブル上のアイテムに対して下記の操作が行われた際にLambdaへ渡されるeventデータを確認します。 アイテム新規作成（INSERT） 既存アイテムに属性新規追加（MODIFY） 既存アイテムの既存キーの値を変更（MODIFY） 既存アイテムを削除（REMOVE） 1. キーのみ - 変更された項目のキー属性のみ。（KEYS_ONLY） アイテム新規作成（INSERT） 新規作成したアイテム { "id": "0001", "name": "クラスメソッド" } DynamoDB StreamからLambdaに渡されたeventデータ { "Records": [ { "eventID": "ecbdabbe517afd39c63d59b684e4dd29", "eventName": "INSERT", "eventVersion": "1.1", "
Step FunctionsステートマシンからDynamoDBテーブルに対して26件以上のUpdateItem操作をしたい（AWS CDK） | DevelopersIO
Step FunctionsステートマシンからDynamoDBテーブルに対して26件以上のUpdateItem操作をしたい（AWS CDK） こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、AWS Step FunctionsステートマシンからAmazon DynamoDBテーブルに対して26件以上のUpdateItem操作を行う構成をAWS CDKで作成してみました。 TransactWriteItemsで一度に更新処理できる件数は最大25件 以前の下記エントリでは、ステートマシンからDynamoDBテーブル上の複数アイテムのUpdateItemをTransactWriteItemsを使って行いました。 Step FunctionsステートマシンからDynamoDBテーブル上の複数のアイテムをUpdateItemしたい（AWS CDK） | DevelopersIO しかしこ
AWS Lambda now supports event filtering for Amazon SQS, Amazon DynamoDB, and Amazon Kinesis as event sources
AWS Lambda now provides content filtering options for SQS, DynamoDB and Kinesis as event sources. With event pattern content filtering, customers can write complex rules so that their Lambda function is only triggered by SQS, DynamoDB, or Kinesis under filtering criteria you specify. This helps reduce traffic to customers’ Lambda functions, simplifies code, and reduces overall cost. Customers can
Terraform stateファイル管理用のリソース(S3,DynamoDB)作成のCFnをService Catalogに登録してみる | DevelopersIO
Terraform stateファイル管理用のリソース(S3,DynamoDB)作成のCFnをService Catalogに登録してみる 「Terraform Backend用のリソースをService Catalogで管理したら便利かも」 個人的にはTerraform Cloudでstateファイルを管理する方法が好きですが、S3とDynamoDBを使用することがあると思います。 このリソースは、Terraform以外の方法で作成する必要があります。(stateファイルどこに置く問題が発生するため) 毎回手動でS3とDynamoDBを作るのは面倒なので、CloudFormation(以下CFn)テンプレート化してみました。 CFn化したことで楽にはなったんですが、組織内で楽に共有する方法はないかなと探していたらService Catalogを見つけました。 Service Catalo
背景・目的 AWSが2023年9月26日にAmazon DynamoDB(DDB)からAmazon S3(S3)へのインクリメンタルエクスポート機能を発表いたしました。この新機能により、どのようにデータ管理が変わるか、実際に手を動かしながら基本的な挙動を確認してみます。 まとめ AWSの増分エクスポート機能により、挿入、更新、または削除されたデータを少量ずつエクスポートでき、数メガバイトからテラバイトのデータ範囲に対応しています。 ポイントインタイムリカバリが有効なDDBテーブルが対象です。 指定した期間の増分データをS3バケットにエクスポートします。 この機能はフルマネージドであり、DDBの容量を消費せず、定期的なデータ更新が容易になります。 サポートされているデータ形式はDynamoDB JSONとAmazon Ionです。 これにより、テーブル全体を毎回エクスポートする必要がなく、変
本日、Amazon DynamoDB は、指定した時間間隔内に変更されたデータのみをエクスポートできる、S3 への増分エクスポートの一般提供開始を発表しました。増分エクスポートを使用すれば、挿入、更新、または削除されたデータを少しずつエクスポートできるようになります。AWS マネジメントコンソール、API 呼び出し、または AWS コマンドラインインターフェイスで数回クリックするだけで、数メガバイトからテラバイト規模の変更データをエクスポートできます。ポイントインタイムリカバリが有効になっている DynamoDB テーブルを選択し、増分データを必要とするエクスポート期間を指定し、ターゲット Amazon S3 バケットを選択してエクスポートします。 増分エクスポートでは、変更データキャプチャパイプラインを設定して、毎回テーブル全体をエクスポートしなくても、ダウンストリームのデータレイクや分
Detecting sensitive data in DynamoDB with Macie | Amazon Web Services
AWS Security Blog Detecting sensitive data in DynamoDB with Macie Amazon Macie is a fully managed data security and data privacy service that uses machine learning and pattern matching to discover and protect your sensitive data in Amazon Web Services (AWS). It gives you the ability to automatically scan for sensitive data and get an inventory of your Amazon Simple Storage Service (Amazon S3) buck
Laravel のセッションストレージにDynamoDBを利用する - 早くエンジニアになりたい
yoshitake_1201 がスルーしているので代わりに書いちゃいます。 この記事は、 Fusic Advent Calendar 2018 5日目の記事です。 はじめに インフラのメイン担当として関わっている案件で、 ECS を使った構成で Laravel を動かすことになりました。 認証を含むWEBアプリケーションが複数のコンテナで動作するので、セッション管理が問題になってきます。 アプリケーション担当者と議論して、結果としてDynamoDBを使う運びになりました。 しかし、Laravel にはデフォルトで DynamoDB をセッションストレージとして使う機構は用意されていないので、今回はチーム内で実装することにしました。 やってみる Laravel の公式ドキュメントを確認しながら進めます。 HTTPセッション 5.7 Laravel ドライバの実装 カスタムセッションドライバで
Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service is now available | Amazon Web Services
AWS News Blog Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service is now available Today, we are announcing the general availability of Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service, which lets you perform a search on your DynamoDB data by automatically replicating and transforming it without custom code or infrastructure. This zero-ETL integration reduces the
org: michinosuke app: dynamodb-fulltext-search service: dynamodb-fulltext-search frameworkVersion: "3" custom: tableName: "fulltext-search-${sls:stage}" plugins: - serverless-offline provider: name: aws region: ap-northeast-1 runtime: nodejs18.x iam: role: statements: - Effect: Allow Action: - dynamodb:Query - dynamodb:Scan - dynamodb:GetItem - dynamodb:PutItem - dynamodb:UpdateItem - dynamodb:Del
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24Shin Ohno
DynamoDB LocalからLocalStackへの移行とJestによる自動テストの並列実行 with dynamodb-toolbox - ROXX開発者ブログ
この記事は個人ブログと同じ内容です zenn.dev はじめに DynamoDB Localを使用してJestを介した自動テストの際に、並列実行時に予期しないエラーに直面しました。--runInBandオプションを使って回避していたのですが、テストの数が増えてきたため、直列で実行するのがしんどくなってきたので、解決策について模索してみました。 DynamoDB Localの制約と課題 Jestを使用してテストを並列実行すると、DynamoDB Localが競合状態になり、予期しないエラーが発生することがありました。どうやら、この記事によるとDynamoDB Localは、内部的にSQLiteを使用しているらしいので、同時書き込みが難しそう。。。 LocalStackへの移行 そこで、LocalStackへの移行を試してみました。LocalStackは、AWSのクローン環境を提供し、ローカル
オフィス狛 技術部のHammarです。 先日「WindowsでDockerを利用してMySQLサーバーを立てる場合の注意点」でも投稿しましたが、WindowsはDockerをVirtualBox経由で起動させているため、Macで起動する場合とは違い、うまく動かない部分があります。 今回は、WindowsでDockerをつかってDynamoDBサーバーをたちあげる時の注意点を記載しようと思います。 ※今回DynamoDBはAWSのDynamoDB Localというツールを利用します。 前回投稿した時と同じようにDockerの起動にはdocker-compose.ymlを利用していきます。 docker-compose.ymlには以下のようにDynamoDBの接続設定を記載します。 ※今回DBの記述がメインとなるので、API、DB側の記述は割愛します。 version: '3' service
AWS Lambda now makes it easier to build analytics for Amazon Kinesis and Amazon DynamoDB Streams
Customers can now use AWS Lambda to build analytics workloads for their Amazon Kinesis or Amazon DynamoDB Streams. For no additional cost, customers can build sum, average, count, and other simple analytics functions over a contiguous, non-overlapping time windows (tumbling window) of up to 15 minutes per shard. Customers can consolidate their business and analytics logic into a single Lambda func
DynamoDB VS ElasticSearch！🤔データアクセス思考なDBMS使い分けの思考方法を解説します！😎 | Ragate ブログ
DynamoDB VS ElasticSearch！🤔データアクセス思考なDBMS使い分けの思考方法を解説します！😎 こんにちは！ 最近のAWSサーバーレス開発プロジェクトでは、DynamoDB・ElasticSearch の組み合わせがデファクトスタンダートになってきています。うまく設計できれば、RDBMS よりも遥かにハイパフォーマンスで可用性の高い DBMS を構築が可能です。 しかし現場から時折「 DynamoDB設計は理解できたけど、ElasticSearch との使い分けに悩む 」といった声が挙がってきます。実際、ElasticSearch の導入は実装・費用面でコスト高になりやすい傾向にあるので、DyanamoDB の設計後に行うプロジェクトが多いですよね。 本記事では、DynamoDB の設計・実装経験のある方向けに、ElasticSearch との使い分け思考方法を解
Understanding the scaling behaviour of DynamoDB OnDemand tables
This article is brought to you by Hookdeck: The Serverless Event Gateway Hookdeck is a reliable and scalable serverless event gateway for sending, receiving, authenticating, transforming, filtering, and routing events between services in your event-driven architecture. Learn more Update 15/03/2019: Thanks to Zac Charles who pointed me to this new page in the DynamoDB docs. It explains how the OnDe
Amazon DynamoDB で機密データを保護するためのベストプラクティスの適用 | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB で機密データを保護するためのベストプラクティスの適用 このシリーズの最初の記事であるAWS データストア内の機密データを保護するためのベストプラクティスでは、いくつかの一般的なセキュリティの概念と、AWS データストアに適用できる AWS セキュリティコントロールについて説明しました。これらを使用して、データに関わるセキュリティ体制をより強固にすることができます。2 番目の記事であるAmazon RDS で機密データを保護するためのベストプラクティスの適用では、こうした概念を Amazon RDS データベースで実装する方法を示しました。この 3 番目であり、最後の記事では、これらの概念を Amazon DynamoDB で実装する方法を示します。 データの分類とセキュリティゾーンモデリング 処理しているデ
Cassandra のコアコンポーネント Cassandra は Amazon EC2 などのインフラストラクチャサービス上にインストールし、そこで管理する必要があります。これで、Cassandra の基盤インフラストラクチャコンポーネントであるノード、クラスター、データセンターの管理上の負担を軽減できます。ここで使用するデータセンターという用語は Cassandra 固有の用語です。データセンターの一般的な定義と混同しないよう注意してください。ノードがデータを保存します。データセンターが集合したものをクラスターといいます。Cassandra データセンターは関連するノードの集合で、物理データセンターまたは仮想データセンターのいずれかです。ワークロードごとにそれぞれ別のデータセンターを使用し、ワークロードのトランザクションが相互に影響しないようにする必要があります。 Cassandra は
DynamoDB Table Creation: With CDK and TypeScript | DevelopersIO
In this blog, we'll create a simple DynamoDB table using the power of CDK and TypeScript. But before that, let's know about CDK, the Cloud Development Kit. It's an open-source framework that empowers developers to define their desired cloud resources within the familiar comfort of their preferred programming language. CDK offers a higher level of abstraction, allowing us to write concise and maint
このラボでは、DynamoDB により提供するモバイルアプリケーションを構築しながら、Amazon DynamoDB での高度なデータモデリングパターンを学びます。DynamoDB を使用する場合、データをモデリングする前にデータへのアクセス方法 (アクセスパターン) を検討することが重要になります。ここではそういったパターンを学ぶために、ソーシャルネットワークを内臓したサンプルのモバイルアプリケーション用に、データモデルを構築していきます。DynamoDB で素早く一貫性のあるパフォーマンスを実現するための、データモデルの設計法を習得できます。 このラボでは、テーブル、アイテム、プライマリキー、セカンダリインデックスなどの基本的な DynamoDB の概念に精通していることを前提としています。これらの概念に慣れていない場合は、Amazon DynamoDB で非リレーショナルデータベース
DockerでRails+React+dynamodb-local環境をつくりたい - Qiita
FROM ruby:2.7.5 as base RUN apt-get update && apt-get install -y build-essential make RUN curl -fsSL https://deb.nodesource.com/setup_lts.x | bash - && apt-get install -y nodejs RUN npm install --global yarn RUN mkdir /app WORKDIR /app COPY ./backend/Gemfile /app/Gemfile COPY ./backend/Gemfile.lock /app/Gemfile.lock RUN bundle install COPY ./backend /app FROM base as dev services: app: build: ./do
はじめに DynamoDBを使っていると、とかくテーブルは1つにまとめるべきという声や、複数テーブルからシングルテーブル設計に移行したという事例を耳にすることがあります。 しかし、その理由を聞いてみると、性能のためだったり管理を簡単にするためだったり、人により異なる印象です。 NoSQLにおける非正規化してデータをもつプラクティスは理解しつつ、その域を超えて全く無関係なItemを1テーブルにまとめる場合もあるようです。 私自身このトピックについて混乱していた中で、先日 The What, Why, and When of Single-Table Design with DynamoDB というブログを見つけました。 それを読んだ上で考えると、割と理解が整理できたので、この記事にまとめてみます。 なお私はDynamoDBの運用経験がまだ十分にあるわけではないので、勘違いや考慮漏れなどあるか
ChatGPTにテストコード(Jest)を渡すだけでAmazon DynamoDBにクエリをするコードを書いてもらえました | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 まずは次の動画をご覧ください。 何をしているかと言うと、今世界を大きく揺るがしているChatGPTにテストコード(Jest)を渡して、SDKを使ってAmazon DynamoDBにクエリをするコードを書いてもらった様子です。 この時ChatGPTに渡したテキストです。 Jestを使用した下記のテストコードの実行が成功する関数を記述して。 ```js const DATA_TABLE_NAME = 'dummy-dataTable'; process.env.DATA_TABLE_NAME = DATA_TABLE_NAME; import { mockClient } from 'aws-sdk-client-mock'; import { QueryCommand, } from '@aws-sdk/client-dynamodb';
GoogleForm,GASからAPI Gateway, Lambdaで入力情報をDynamoDBに格納する - ヤマムギ
Google Apps Script フォーム回答のGoogleスプレッドシートで[ツール]-[スクリプトエディタ]を選択しました。 名前をデフォルトから変更しました。 eventをそのまま、API Gatewayで作成したAPIへPOSTしました。 function ddbdemo(event) { console.log(event); var parameters = { 'method': 'post', 'contentType': 'application/json', 'payload': JSON.stringify(event) }; var api_endpoint = 'https://xxxxxxxx.execute-api.us-east-1.amazonaws.com/v1/food'; var response = UrlFetchApp.fetch(api_
Lambda(Go)でDynamoDBのデータ取得・登録(GET/POST)をしてみた | DevelopersIO
こんにちは、ゲームソリューショングループのsoraです。 今回は、Lambda(Go)でDynamoDBのデータ取得・登録(GET/POST)をしてみたことを書いていきます。 データは都道府県名・県庁所在地・地域をカラムとして持つもので、都道府県名を渡すことで県庁所在地と地域を取得でき、全ての値を与えることで登録もできるようにしていきます。 LambdaとDynamoDBの作成 今回はTerraformを使って作成します。 Terraformソースコード まずは、AWS側で必要なサービスを作成します。 main.tf terraform { #AWSプロバイダーのバージョン指定 required_providers { aws = { source = "hashicorp/aws" version = "~> 4.51.0" } } } #AWSプロバイダーの定義 provider aw
Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service を試してみた | DevelopersIO
Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service を試してみた Amazon DynamoDB と Amazon OpenSearch Service のゼロ ETL 統合が利用可能になったので試してみました。 CDKでやってみた版はこちらをご参照ください。 はじめに DynamoDBのクエリ柔軟性を補うために、OpenSearch Serviceの検索機能を利用するパターンは知られていましたが、以前はそのアーキテクチャのためにLambdaなどを用意する必要がありました。(参考1, 参考2) 参考1: 参考2: 今回のアップデートにより、Lambdaなどのグルーコードを用いずに、DynamoDBのテーブルをOpenSearch Serviceに同期することが可能になりました。 まずはDynamoDBを準備
DynamoDBテーブルからStartとEndの期間を指定して任意デバイスのデータを取得する | DevelopersIO
KeyConditionExpressionのbetweenで開始時刻と終了時刻を指定しています。 import json import boto3 from boto3.dynamodb.conditions import Key TABLE_NAME = 'door-usage-table' START_TIMESTAMP = 1599711000000 # 2020-09-10T13:10:00 END_TIMESTAMP = 1599711620000 # 2020-09-10T13:20:20 dynamodb = boto3.resource('dynamodb') def get(): table = dynamodb.Table(TABLE_NAME) for device_number in range(3): data = get_usage(f'door-{devic
import dql import boto3 import os table_name=os.environ['TABLE_NAME'] # dynamodb engine = dql.Engine() c = engine.connect( region=os.environ['AWS_DEFAULT_REGION'], access_key=os.environ['AWS_ACCESS_KEY_ID'], secret_key=os.environ['AWS_SECRET_ACCESS_KEY'], host=os.environ['HOST'], port=int(os.environ['PORT']), is_secure=False ) print("--scan--") results = engine.execute(f"SCAN * FROM {table_name} L
こんにちは、DA部の下地です。 DynamoDBテーブルからScanでデータを取得する際は1回の呼び出しで1MBまでしか取得できません。1MB以上のデータを全件取得するにはScan実行時のレスポンスに含まれているLastEvaluatedKeyを使用してループ処理を実装する必要があります。LastEvaluatedKeyについては下記サイトをご参照ください。 今回は、1MB以上のデータをScanで取得しようとした際に全件取得できなかったので改善した実装内容についてまとめます。 1. 実装環境 実行環境は以下のようになっています。 boto3: 1.12.33 python: 3.7.0 CLI: aws-cli/2.0.12 2. 前準備 まずはじめに、下記公式サイトのCloudFormationテンプレートを使用してDynamoDBテーブルを作成します。投入するCSVデータは10万行(1
DynamoDBのData Export機能を使って、データを定期的にS3にエクスポートする | DevelopersIO
CX事業本部の佐藤です。元々、DynamoDBのデータをエクスポートするには、Glueジョブを使用したり、Data Pipelineを使用する必要がありました。それが最近のアップデートで、DynamoDBの機能としてS3にエクスポートする機能が実装されました！ New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required この機能を使って、定期的にS3にエクスポートする構成をEventBridge、Lambdaを使って作成していきたいと思います。 この記事ではDynamoDBのデータを単純にエクスポートするだけですが、ETLのようなデータ変換処理が必要な場合にはGlueを使う必要があります。GlueとStepFunctionsを使用したサンプルは以下の弊社ブロ
DynamoDBで柔軟な検索をする - Qiita
この記事の目的 Amazon DynamoDB(以下DynamoDBと記載)の可用性や書き込みのスループットの高さには大変魅力を感じています。 しかしながら、RDBとは全く異なる発想での設計が必要な点や、検索処理の自由度の低さに対しての有効な手立てを持ち合わせていない（スキルの問題）などがあり、なかなか実案件で採用するに至っていません。 そんな折に、とあるセミナーでDynamoDBの設計ノウハウを学ぶことが出来ましたので、その内容を自分なりに整理するためにこの記事を書きました。 （なお、セミナー主催者には本内容を記事で公開してよい旨の了解をいただいています。） 試したこと 試したことは大きく２つあります。 転置インデックスを用いて、ある程度複雑なデータモデルを１テーブルで処理する パーティションキーの属性で前方一致検索をする方法を模索する 表記ルール DynamoDBの用語については、文末
はじめにこんにちは。TIG DXユニット所属の村上です。 最近データ分析絡みでDynamoDBを触る機会が多く、DynamoDBが体の一部みたいになってきました。 本記事の結論はこれです。 大量に取得したいデータに共通して存在する値の属性をGSIとして設定しよう 予備知識から順に解説していきます。 ScanとQueryDynamoDBにはScanとQueryという操作が存在します。それぞれ簡単に説明すると、以下のようになります。 Scan：DB全体を取得する操作 Query：指定した属性に指定した値を持つデータのみを抽出して取得する操作 取得したいデータがDBに存在するほとんど全てのデータであれば、Scanで取得するのが効率的なのですが、必ずしもそのような状況であるとは限りません。Queryによって、特定の値を持つデータのみを取得したい場合もあると思います。 今回は後者の場合を想定し、Qu
Python (boto3) で DynamoDB の条件付き項目追加・更新をやってみる - michimani.net
DynamoDB の項目追加 put_item() については過去に書いたのですが、その時は必須パラメータのみを指定して動作を確認しました。今回は、オプションパラメータを使用して項目の追加と更新をやってみます。 過去に書いた記事はこちら。 目次 準備 テーブルの作成 サンプルデータのロード 項目の条件付き追加・更新 既に存在する項目と同じキーを持つ項目を追加しようとしたときに上書きされるのを防ぐ 特定の条件を満たす場合のみ更新する まとめ 準備 今回は AWS の公式ページにあるサンプルデータを使います。 ステップ 1: サンプルテーブルの作成 - Amazon DynamoDB いくつかサンプルのテーブルとデータが用意されていますが、その中の Thread テーブルのデータを使います。 テーブルの作成 上のリンクではマネジメントコンソールでのテーブル作成手順が載っていますが、テーブルの作
Amazon DynamoDBの概要やテーブル設計の基礎について解説した本となります。 AWS AppSyncやAWS AmplifyからDynamoDBを初めて触る人やサーバーレスアーキテクチャをやる人向けです。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon DynamoDBのNextTokenを使ったページネーションの挙動を調査した
DynamoDB の S3への増分エクスポートを試してみた - Qiita
Amazon DynamoDB の S3 への増分エクスポートについての発表
AWS DynamoDB で超低コストな全文検索を実装しよう 〜実装編〜 - Qiita
DynamoDBの初心者に伝えたい初めて触るときの勘所
WindowsでDockerを利用してDynamoDBサーバーをたちあげる時の注意点。
Cassandra 開発者向け Amazon DynamoDB 入門 | Amazon Web Services
Amazon DynamoDB を使用してモバイルアプリ向けのデータベースを設計
DynamoDB、シングルテーブルにするか否か - maybe daily dev notes
DynamoDBをPythonからSQLっぽく操作する。 - Qiita
ScanでDynamoDBテーブルから1MB以上のデータを取得する方法について | DevelopersIO
DynamoDBから効率的に大量のデータを取得する方法 | フューチャー技術ブログ
DynamoDB はじめる前に読む本 - Gravity Pianist - BOOTH