Amazon DynamoDB オンデマンドキャパシティーモードを使用して、急増するワークロードを実行し、コストを 90% 以上最適化する | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB オンデマンドキャパシティーモードを使用して、急増するワークロードを実行し、コストを 90% 以上最適化する これは、TVer Technologies Inc. のソフトウェアエンジニアであるウツミケイスケ氏によるゲスト投稿です。同社の言葉を借りると、「 TVer Technologies Inc. は、テレビ放送と同期されたウェブサイトを利用して、ユーザーにインタラクティブなエンターテイメントサービスを提供しています 」との事です。 TVer Technologies Inc. は、日本のテレビ視聴者向けにウェブサイトとアプリベースのインタラクティブコンテンツを提供しています。当社のアプリケーションの多くは、Amazon DynamoDB をデータベースとして使用して、登録ユーザー情報を保存し、テレビ放送中の
3. 前置き ● DynamoDB ○ アナザーエデンとダンメモのメインストレージ ○ 国内および海外を合わせると7箇所で運用 ○ NoSQL：アクセス数に対してスケールしやすい ○ データ量だけでなく、キャパシティ（スループット）で費用がかかる ● 解決したい問題 ○ メインストレージなのでサーバーの運用費を安くしたい ○ 運用を自動化したい ■ (20～50テーブル) x 7 の キャパシティを設定
AWS Lambda は、並列化係数をサポートするようになりました。この機能により、Kinesis または DynamoDB データストリームの 1 つのシャードを複数の Lambda 呼び出しで同時に処理できます。この新機能により、揮発性のデータトラフィックでより機敏なストリーム処理アプリケーションを構築できます。 デフォルトでは、Lambda は一度に 1 つのシャードからデータレコードの 1 つのバッチで関数を呼び出します。単一のイベントソースマッピングの場合、同時 Lambda 呼び出しの最大数は、Kinesis または DynamoDB シャードの数に等しくなります。 これで、Lambda が 1 (デフォルト) から 10 までの並列化係数を介してシャードからポーリングする同時バッチの数を指定できます。たとえば、並列化係数を 2 に設定すると、100 件の Kinesis デー
New DynamoDB Table Class – Save Up To 60% in Your DynamoDB Costs | Amazon Web Services
AWS News Blog New DynamoDB Table Class – Save Up To 60% in Your DynamoDB Costs Today we are announcing Amazon DynamoDB Standard-Infrequent Access (DynamoDB Standard-IA). A new table class for DynamoDB that reduces storage costs by 60 percent compared to existing DynamoDB Standard tables, and that delivers the same performance, durability, and scaling. Nowadays, many customers are moving their infr
[Amazon Athena]S3バケットとDynamoDBに保管されたデータのJOIN処理をAthenaでやってみた | DevelopersIO
やってみた 環境作成 CloudFormationスタック CloudFormationスタックのテンプレートです。 template.yaml AWSTemplateFormatVersion: '2010-09-09' Resources: DeviceMasterDynamoDBTable: Type: AWS::DynamoDB::Table Properties: TableName: device_master BillingMode: PAY_PER_REQUEST AttributeDefinitions: - AttributeName: deviceId AttributeType: S KeySchema: - AttributeName: deviceId KeyType: HASH DevicesRawDataBucket: Type: AWS::S3::Buck
![[Amazon Athena]S3バケットとDynamoDBに保管されたデータのJOIN処理をAthenaでやってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
GitHub - harunobukameda/AWS-Amplify-AWS-Lambda-Amazon-DynamoDB-AWS-API-Gateway-Amazon-Cognito
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
（2022年11月25日追記） 私の本が株式会社インプレス R&Dさんより出版されました。この記事の内容も含まれています。イラストは鍋料理さんの作品です。猫のモデルはなんとうちのコです！ 感想を書いていただけるととても嬉しいです！ （2022年8月3日追記）この記事の内容はこちらの本でも読めます。 はじめに 現在、APIの販売プラットフォームを作成中です。Cognitoで新規ユーザーを登録したら自動的にAPIキーを発行できるようになったので、方法を書き留めておきます。 今回実現したのは以下の内容です。 Cognitoのユーザー登録にともなって、ユーザーに紐づくAPIキーを発行する APIキーに使用量プランを自動で適用する 生成したAPIキーをDynamoDBに自動で登録する Cognitoの認証情報を用いて、DynamoDBから該当ユーザーのAPIキーを取得する 事前準備 APIの実装 A
[AWS] Serverless Application Model (SAM) でAPI Gateway + Lambda + DynamoDBなサンプルを作成してみる - Qiita
$ brew tap aws/tap Updating Homebrew... ==> Auto-updated Homebrew! Updated 1 tap (homebrew/cask). No changes to formulae. ==> Tapping aws/tap Cloning into '/usr/local/Homebrew/Library/Taps/aws/homebrew-tap'... remote: Enumerating objects: 20, done. remote: Counting objects: 100% (20/20), done. remote: Compressing objects: 100% (16/16), done. remote: Total 654 (delta 8), reused 10 (delta 4), pack-r
![[AWS] Serverless Application Model (SAM) でAPI Gateway + Lambda + DynamoDBなサンプルを作成してみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7d955ad93ddf5c6877773e6e4d78b39817ca9d90/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEJTIwU2VydmVybGVzcyUyMEFwcGxpY2F0aW9uJTIwTW9kZWwlMjAlMjhTQU0lMjklMjAlRTMlODElQTdBUEklMjBHYXRld2F5JTIwJTJCJTIwTGFtYmRhJTIwJTJCJTIwRHluYW1vREIlRTMlODElQUElRTMlODIlQjUlRTMlODMlQjMlRTMlODMlOTclRTMlODMlQUIlRTMlODIlOTIlRTQlQkQlOUMlRTYlODglOTAlRTMlODElOTclRTMlODElQTYlRTMlODElQkYlRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWU1YzhkZWNlNDJlMmZjOTFlMzU4ZGQ3MTU0ZTVmODYw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBoaXRvMnJ1JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02OGNmNWFiMGIwOTU0NTgxYTM1NWU1NGIyNWQwNzQ4Nw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3De2048bd468acaae7dd45f54ef465165d)
DynamoDBをORMのように操作できるPythonのパッケージ「PynamoDB」を使ってみます。辞書化型とクラスの変換をする必要がなくなり、楽にDBを操作できます。 PynamoDB PynamoDBはDynamoDBのPython用クライアントです。 SQLAlchemyなどのORMのようにDynamoDBを操作することができます。 Boto3などを使ってDynamoDBを操作していると、dict⇄データクラスの変換が発生してコードが冗長になる気がします。 また、dict型だとインテリセンスの問題もあります。クラスになっているとその辺りは楽になる気がします。 インストール pipでインストール可能です pip3 install pynamodb 使ってみる テーブルの定義 from pynamodb.models import Model from pynamodb.attribu
Amazon DynamoDBにおけるコスト最適化に向けたリザーブドキャパシティの算出方法 | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDBにおけるコスト最適化に向けたリザーブドキャパシティの算出方法 本記事は、VMwareのデータサイエンティストであるSanjna Srivatsaとの共同執筆です。 Amazon DynamoDBは、リザーブドキャパシティと呼ばれる最小限の使用レベルの支払いを約束する顧客に対して、最大50%から70%程度の割引を提供します。この記事では、過去のDynamoDBが使用したデータを使用して、DynamoDBリザーブドキャパシティを予測する方法について学びます。 FinOpsの実践者（およびデータサイエンティスト）として、私はVMwareを支えるクラウドテクノロジーへの支出を最適化することに重点を置いています。VMwareでは、DynamoDBでかなりの量のプロビジョニング容量を使用していましたが、情報に基づいたリザーブ
DynamoDB ストリームから Lambda 関数を呼び出して Kinesis Firehose を経由して S3 バケットに出力してみた | DevelopersIO
コンバンハ、千葉（幸）です。 DynamoDB には DynamoDB ストリームという機能があり、DynamoDB テーブルのアイテムに変更があった場合にそれをキャプチャすることができます。 DynamoDB ストリームをイベントとして Lambda 関数を呼び出すことを俗に DynamoDB トリガーと呼びます。 また、DynamoDB テーブルではアイテムに有効期限（TTL）を設けて自動的な削除ができます。TTL により削除されたアイテムも DynamoDB ストリームのキャプチャ対象となるため、「期限切れで削除されたアイテムのみ Lambda 関数を用いて S3 にアーカイブ」ということもできます。 今回は、 DynamoDB ストリームで新規に追加されたアイテムをキャプチャし、 それをトリガーに Lambda 関数を呼び出し、 Kinesis Data Firehose 配信スト
概要 DynamoDB Local を使って、開発環境のローカルマシンで DynamoDB を動かすことができるが、DynamoDB Stream を使いたい場合はポーリングする仕組みが必要。その方法のメモ。 Stream を監視する Python のソース import boto3 import os import time from pprint import pprint # 対象のテーブル table_names = [ 'XXX', 'YYY', ] # 初期化 # https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/dynamodb.html # https://boto3.amazonaws.com/v1/documentation/api/latest/reference/se
CloudWatch Application Insights が MySQL、Amazon DynamoDB、カスタムログなどのサポートを開始
Amazon CloudWatch Application Insights は、お客様のアプリケーションのオブザーバビリティを強化するいくつかの新機能の提供を開始しました。本日より、CloudWatch Application Insights は、Microsoft SQL Serverに加えて、2つのデータベース - MySQL と Amazon DynamoDB - に対するモニタリングサポートを拡張します。これにより、お客様は CloudWatch でこれらのデータベースのモニタリングを簡単に設定し、遅いクエリ、トランザクションの競合、レプリケーションのレイテンシーなどの一般的なエラーを検出できます。 これに加えて、お客様は、CloudWatch Application Insights のカスタムログとログパターンを、アプリケーション、オペレーティングシステム、基盤となるインフ
Amazon DynamoDB は、テーブル、ローカルセカンダリインデックス (LSI)、グローバルセカンダリインデックス (GSI)、およびストリームからデータを読み取ります。詳細については、「Amazon DynamoDB のコアコンポーネント」を参照してください。テーブルと LSI のどちらにも、結果整合性のある読み込み (デフォルト) と強力な整合性のある読み込みという 2 つの読み込み整合性オプションが用意されています。GSI とストリームからのすべての読み取りは、結果整合性のある読み込みです。 アプリケーションが DynamoDB テーブルにデータを書き込み、HTTP 200 応答 (OK) を受信した場合、これは書き込みが正常に完了し、永続的に保持されたことを意味します。DynamoDB は、コミット済み読み取り分離を提供し、読み取りオペレーションが常に項目のコミット済みの値
DynamoDB のデータを Amazon Ion 形式で S3 にエクスポートし Athena からクエリする | DevelopersIO
DynamoDBのエクスポート機能でAmazon Ion形式でエクスポートしAthenaからクエリして、集計バッチとして利用する様子をご紹介します ども、大瀧です。 先日DynamoDBはバッチ処理よりストリーム処理が得意という記事が話題になりましたが、本ブログではバッチのアーキテクチャを紹介します!! DynamoDBのエクスポート機能 DynamoDBには継続的バックアップ(PITR)で取得したスナップショットをAmazon S3にエクスポートする機能があり、ある時点のデータを元にしたバッチ処理をテーブルの読み込み容量を消費せずに実行できます。 S3にエクスポートするときのデータ形式はDynamoDB JSONとAmazon Ionテキスト形式の2つから選択できます。IonにはDynamoDBのデータ型を保持する仕組みが内包されているため、JSONやJavascript周りのデータ型変
Using the circuit-breaker pattern with AWS Lambda extensions and Amazon DynamoDB | Amazon Web Services
AWS Compute Blog Using the circuit-breaker pattern with AWS Lambda extensions and Amazon DynamoDB This post is written by Alan Oberto Jimenez, Senior Cloud Application Architect, and Tobias Drees, Cloud Application Architect. Modern software systems frequently rely on remote calls to other systems across networks. When failures occur, they can cascade across multiple services causing service disru
Running spiky workloads and optimizing costs by more than 90% using Amazon DynamoDB on-demand capacity mode | Amazon Web Services
AWS Database Blog Running spiky workloads and optimizing costs by more than 90% using Amazon DynamoDB on-demand capacity mode This is a guest post by Keisuke Utsumi, a Software Engineer with TVer Technologies Inc. In their own words, “TVer Technologies Inc. offers interactive entertainment services to users using a synchronized website with a TV broadcast.” TVer Technologies Inc. provides website
DynamoDBのデータ型は以下があります。Pythonのboto3でDynamoDBからデータを取得したときに、Pythonではどういうオブジェクトになるのかを確認しました。 String Binary Number Boolean Null List Map Set of String Set of Binary Set of Number DynamoDBとPythonのデータ型の対応 boto3のclientを使う場合とresourceを使う場合とで、扱いが異なります。 session.client("dynamodb").get_item は値とともにデータ型の情報が付随してきます。 session.resource("dynamodb").Table(table_name).get_item は直接Pythonのオブジェクトに変換されて取得できます。 DynamoDBでの型 c
LocalStackをローカル環境で起動して、Amazon DynamoDB の操作を試せるようにする。 - Qiita
LocalStackをローカル環境で起動して、Amazon DynamoDB の操作を試せるようにする。AWSDockerDynamoDBdocker-composeLocalStack はじめに LocalStack であれば、 AWS のリソースの動作をローカルマシンでテストすることができる、ということを聞き、入門してみました。 やってみることとしては、LocalStack を Docker Compose で起動してみます。 docker-compose.yml について、Amazon DynamoDB を動作させるための設定をして、 LocalStack を起動した後、 AWS CLI を利用した操作を試せるようにします。 環境 MacBook Pro (Intel)、macOS Big Sur 11.6 Docker Desktop 4.7.0 Docker Engine 20.
IoTシステムでユースケースの追加によりDynamoDBの再設計が必要となった話 | DevelopersIO
キー・インデックスの指定は以下のようになります。ソートキーの指定はないため、プライマリキーはplaceIdのみとなります。 パーティションキー：placeId ソートキー：なし DynamoDBでデータが更新されるまでの一連の流れは以下のようになります。 IoTデバイスが玄関扉の開閉を検知する IoTデバイスからAWSへ開閉時刻が送信される DynamoDBのテーブルに対してパーティションキーであるplaceIdをもとに更新対象のデータの検索が行われる 更新対象のデータのlastOpenCloseAtが更新される 追加のユースケースと、それによりDynamoDB観点で何が対応できなくなるのか さて、ここで追加のユースケースとして「表口と裏口の2つの玄関を持つ住宅」に対しても同システムで対応ができるかどうか検討することとなりました。 その場合は表口と裏口のそれぞれの玄関にIoTデバイスを設置
DynamoDBでGSIやLSIのキーは重複や値なしが許容されるのか確認してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 今回は、DynamoDBでGSI（グローバルセカンダリインデックス）やLSI（ローカルセカンダリインデックス）のキーは重複や値なしが許容されるのか気になったので確認してみました。 確認してみた 次のようなDynamoDBテーブルを使用して確認します。 { "Table": { "AttributeDefinitions": [ { "AttributeName": "createdAt", "AttributeType": "N" }, { "AttributeName": "objectId", "AttributeType": "S" }, { "AttributeName": "objectType", "AttributeType": "S" }, { "AttributeName": "updatedAt", "AttributeType":
AWS Lambda launches checkpointing for Amazon Kinesis and Amazon DynamoDB Streams
AWS Lambda now allows customers to automatically checkpoint records that have been successfully processed for Amazon Kinesis and Amazon DynamoDB Streams, using a new parameter, FunctionResponseType. When customers set this parameter to “Report Batch Item Failure”, if a batch fails to process, only records after the last successful message are retried. This reduces duplicate processing, and gives c
Unlocking performance, scalability, and cost-efficiency of Zomato’s Billing Platform by switching from TiDB to DynamoDB | Amazon Web Services
AWS Database Blog Unlocking performance, scalability, and cost-efficiency of Zomato’s Billing Platform by switching from TiDB to DynamoDB This post is co-authored with Neha Gupta & Kanica Mandhania from Zomato. Zomato, an India-based restaurant aggregator, food delivery, and dining-out company, operates in over 1,000 cities and lists more than 350,000 restaurants. Since its inception in 2008, Zoma
はじめに DynamoDBの公式ドキュメント を読む際に、事前に知っておく必要のある用語をまとめました。 用語集 順不同に記載しています。 フルマネージド 完全運用保守管理代行 NoSQL Not only SQLの略 SQL言語を使わずにデータの操作ができるデータベース Key-Value型データベースを指して言うことが多い スケーラビリティ 機器やソフトウェア、システムなどの拡張性、拡張可能性のこと SPOF(単一障害点) Single Point of Failure その箇所が停止するとシステムの全体が停止するような箇所。 パーティショニング 論理的に1つの大きなテーブルを、物理的に小さなパーティションに分けること パーティション 区画、分割 ハードディスクやSSDなどの記憶装置は、利用開始時に内部を複数のパーティションに分割し、それぞれをあたかも一台の独立したストレージのように取
DynamoDB LocalのDockerイメージを使う際の「WARNING: [sqlite] cannot open DB[*]: com.almworks.sqlite4java.SQLiteException: [*] unable to open database file」の解決方法3つ - Qiita
はじめに dynamonodb-localのDockerイメージを使用する際に、データの永続化のためにvolumesを指定したが、以下のようにwarningが出てホスト側のマウント先に書き込みができずに困った。今回はその解決策について備忘録を残す。 dynamodb-local | WARNING: [sqlite] cannot open DB[1]: com.almworks.sqlite4java.SQLiteException: [14] unable to open database file dynamodb-local | Apr 30, 2022 12:02:35 PM com.almworks.sqlite4java.Internal log dynamodb-local | SEVERE: [sqlite] SQLiteQueue[shared-local-instan
![DynamoDB LocalのDockerイメージを使う際の「WARNING: [sqlite] cannot open DB[*]: com.almworks.sqlite4java.SQLiteException: [*] unable to open database file」の解決方法3つ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b14537c55501efc3e7d0c490eb89b13dadfee7d4/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9RHluYW1vREIlMjBMb2NhbCVFMyU4MSVBRURvY2tlciVFMyU4MiVBNCVFMyU4MyVBMSVFMyU4MyVCQyVFMyU4MiVCOCVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSU4NiVFOSU5QSU5QiVFMyU4MSVBRSVFMyU4MCU4Q1dBUk5JTkclM0ElMjAlNUJzcWxpdGUlNUQlMjBjYW5ub3QlMjBvcGVuJTIwREIlNUIlMkElNUQlM0ElMjBjb20uYWxtd29ya3Muc3FsaXRlNGolRTIlODAlQTYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWM4Mjc5MjJhZjY0ZThiNWRjNTExMzI5YTgzODRkOWVj%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5dXRhLWthdGF5YW1hLTIzJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kODQwOGVlY2FlM2Y3YTBjNDY0ZmViOTY4ZGYwNjNjYQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3De3033c14c0afcd0b3d09aa8637fbd3d3)
Connect a React app to GraphQL and DynamoDB with AWS CDK and Amplify | Amazon Web Services
Front-End Web & Mobile Connect a React app to GraphQL and DynamoDB with AWS CDK and Amplify Today, we’re excited to announce the official AWS Cloud Development Kit (CDK) construct for Amplify’s GraphQL APIs capabilities. With Amplify’s GraphQL API CDK construct, you can create a real-time GraphQL API backed by data sources such as Amazon DynamoDB tables or AWS Lambda functions using a single Graph
AWS re:Invent 2019 で開催予定の Amazon DynamoDB セッション、ワークショップ、およびチョークトークのご案内 | Amazon Web Services
Amazon Web Services ブログ AWS re:Invent 2019 で開催予定の Amazon DynamoDB セッション、ワークショップ、およびチョークトークのご案内 AWS re:Invent 2019 がもうすぐ開催されます! この記事には、AWS re:Invent 2019 で行われる、Amazon DynamoDB セッション、ワークショップ、チョークトークの全リストを掲載しています。この記事の情報で、今年のラスベガスでのコンファレンスウィークをうまくスケジューリングしましょう。上司を説得できず、まだ AWS re:Invent 2018 に登録していない方々は、こちらの 出張の必要性についてのメモをお読みください。 レベル 200 – 入門 DAT205 – Verizon Media が Amazon DynamoDB を使用してプッシュ通知を実施す
Step FunctionsステートマシンからDynamoDBテーブルに対して26件以上のUpdateItem操作をしたい（AWS CDK） | DevelopersIO
Step FunctionsステートマシンからDynamoDBテーブルに対して26件以上のUpdateItem操作をしたい（AWS CDK） こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、AWS Step FunctionsステートマシンからAmazon DynamoDBテーブルに対して26件以上のUpdateItem操作を行う構成をAWS CDKで作成してみました。 TransactWriteItemsで一度に更新処理できる件数は最大25件 以前の下記エントリでは、ステートマシンからDynamoDBテーブル上の複数アイテムのUpdateItemをTransactWriteItemsを使って行いました。 Step FunctionsステートマシンからDynamoDBテーブル上の複数のアイテムをUpdateItemしたい（AWS CDK） | DevelopersIO しかしこ
AWS Lambda now supports event filtering for Amazon SQS, Amazon DynamoDB, and Amazon Kinesis as event sources
AWS Lambda now provides content filtering options for SQS, DynamoDB and Kinesis as event sources. With event pattern content filtering, customers can write complex rules so that their Lambda function is only triggered by SQS, DynamoDB, or Kinesis under filtering criteria you specify. This helps reduce traffic to customers’ Lambda functions, simplifies code, and reduces overall cost. Customers can
DynamoDB Streamで渡されるeventデータの表示タイプごとの内容をまとめてみた | DevelopersIO
上記それぞれの表示タイプの時に、テーブル上のアイテムに対して下記の操作が行われた際にLambdaへ渡されるeventデータを確認します。 アイテム新規作成（INSERT） 既存アイテムに属性新規追加（MODIFY） 既存アイテムの既存キーの値を変更（MODIFY） 既存アイテムを削除（REMOVE） 1. キーのみ - 変更された項目のキー属性のみ。（KEYS_ONLY） アイテム新規作成（INSERT） 新規作成したアイテム { "id": "0001", "name": "クラスメソッド" } DynamoDB StreamからLambdaに渡されたeventデータ { "Records": [ { "eventID": "ecbdabbe517afd39c63d59b684e4dd29", "eventName": "INSERT", "eventVersion": "1.1", "
背景・目的 AWSが2023年9月26日にAmazon DynamoDB(DDB)からAmazon S3(S3)へのインクリメンタルエクスポート機能を発表いたしました。この新機能により、どのようにデータ管理が変わるか、実際に手を動かしながら基本的な挙動を確認してみます。 まとめ AWSの増分エクスポート機能により、挿入、更新、または削除されたデータを少量ずつエクスポートでき、数メガバイトからテラバイトのデータ範囲に対応しています。 ポイントインタイムリカバリが有効なDDBテーブルが対象です。 指定した期間の増分データをS3バケットにエクスポートします。 この機能はフルマネージドであり、DDBの容量を消費せず、定期的なデータ更新が容易になります。 サポートされているデータ形式はDynamoDB JSONとAmazon Ionです。 これにより、テーブル全体を毎回エクスポートする必要がなく、変
本日、Amazon DynamoDB は、指定した時間間隔内に変更されたデータのみをエクスポートできる、S3 への増分エクスポートの一般提供開始を発表しました。増分エクスポートを使用すれば、挿入、更新、または削除されたデータを少しずつエクスポートできるようになります。AWS マネジメントコンソール、API 呼び出し、または AWS コマンドラインインターフェイスで数回クリックするだけで、数メガバイトからテラバイト規模の変更データをエクスポートできます。ポイントインタイムリカバリが有効になっている DynamoDB テーブルを選択し、増分データを必要とするエクスポート期間を指定し、ターゲット Amazon S3 バケットを選択してエクスポートします。 増分エクスポートでは、変更データキャプチャパイプラインを設定して、毎回テーブル全体をエクスポートしなくても、ダウンストリームのデータレイクや分
Terraform stateファイル管理用のリソース(S3,DynamoDB)作成のCFnをService Catalogに登録してみる | DevelopersIO
「Terraform Backend用のリソースをService Catalogで管理したら便利かも」 個人的にはTerraform Cloudでstateファイルを管理する方法が好きですが、S3とDynamoDBを使用することがあると思います。 このリソースは、Terraform以外の方法で作成する必要があります。(stateファイルどこに置く問題が発生するため) 毎回手動でS3とDynamoDBを作るのは面倒なので、CloudFormation(以下CFn)テンプレート化してみました。 CFn化したことで楽にはなったんですが、組織内で楽に共有する方法はないかなと探していたらService Catalogを見つけました。 Service Catalogを使うことで、AWSのコンソール上からお手軽にTerraform state管理用のリソースをデプロイできます。 やってみた ブログ中のコ
Detecting sensitive data in DynamoDB with Macie | Amazon Web Services
AWS Security Blog Detecting sensitive data in DynamoDB with Macie Amazon Macie is a fully managed data security and data privacy service that uses machine learning and pattern matching to discover and protect your sensitive data in Amazon Web Services (AWS). It gives you the ability to automatically scan for sensitive data and get an inventory of your Amazon Simple Storage Service (Amazon S3) buck
Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24Shin Ohno
Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service is now available | Amazon Web Services
AWS News Blog Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service is now available Today, we are announcing the general availability of Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service, which lets you perform a search on your DynamoDB data by automatically replicating and transforming it without custom code or infrastructure. This zero-ETL integration reduces the
org: michinosuke app: dynamodb-fulltext-search service: dynamodb-fulltext-search frameworkVersion: "3" custom: tableName: "fulltext-search-${sls:stage}" plugins: - serverless-offline provider: name: aws region: ap-northeast-1 runtime: nodejs18.x iam: role: statements: - Effect: Allow Action: - dynamodb:Query - dynamodb:Scan - dynamodb:GetItem - dynamodb:PutItem - dynamodb:UpdateItem - dynamodb:Del
Laravel のセッションストレージにDynamoDBを利用する - 早くエンジニアになりたい
yoshitake_1201 がスルーしているので代わりに書いちゃいます。 この記事は、 Fusic Advent Calendar 2018 5日目の記事です。 はじめに インフラのメイン担当として関わっている案件で、 ECS を使った構成で Laravel を動かすことになりました。 認証を含むWEBアプリケーションが複数のコンテナで動作するので、セッション管理が問題になってきます。 アプリケーション担当者と議論して、結果としてDynamoDBを使う運びになりました。 しかし、Laravel にはデフォルトで DynamoDB をセッションストレージとして使う機構は用意されていないので、今回はチーム内で実装することにしました。 やってみる Laravel の公式ドキュメントを確認しながら進めます。 HTTPセッション 5.7 Laravel ドライバの実装 カスタムセッションドライバで
DynamoDB LocalからLocalStackへの移行とJestによる自動テストの並列実行 with dynamodb-toolbox - ROXX開発者ブログ
この記事は個人ブログと同じ内容です zenn.dev はじめに DynamoDB Localを使用してJestを介した自動テストの際に、並列実行時に予期しないエラーに直面しました。--runInBandオプションを使って回避していたのですが、テストの数が増えてきたため、直列で実行するのがしんどくなってきたので、解決策について模索してみました。 DynamoDB Localの制約と課題 Jestを使用してテストを並列実行すると、DynamoDB Localが競合状態になり、予期しないエラーが発生することがありました。どうやら、この記事によるとDynamoDB Localは、内部的にSQLiteを使用しているらしいので、同時書き込みが難しそう。。。 LocalStackへの移行 そこで、LocalStackへの移行を試してみました。LocalStackは、AWSのクローン環境を提供し、ローカル
オフィス狛 技術部のHammarです。 先日「WindowsでDockerを利用してMySQLサーバーを立てる場合の注意点」でも投稿しましたが、WindowsはDockerをVirtualBox経由で起動させているため、Macで起動する場合とは違い、うまく動かない部分があります。 今回は、WindowsでDockerをつかってDynamoDBサーバーをたちあげる時の注意点を記載しようと思います。 ※今回DynamoDBはAWSのDynamoDB Localというツールを利用します。 前回投稿した時と同じようにDockerの起動にはdocker-compose.ymlを利用していきます。 docker-compose.ymlには以下のようにDynamoDBの接続設定を記載します。 ※今回DBの記述がメインとなるので、API、DB側の記述は割愛します。 version: '3' service
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIやマイクロサービスを活用したDynamoDB節約術
AWS Lambda は Kinesis および DynamoDB イベントソースの並列化係数をサポートします
Cognitoのユーザー登録をトリガーに、APIキーの発行とDynamoDBへの登録を行う
DynamoDBのORM「PynamoDB」を使ってみる | DevelopersIO
DynamoDB Local で stream を動かす方法 (Python) - Qiita
読み込み整合性 - Amazon DynamoDB
DynamoDBのデータ型とPythonのデータ型の対応 - Qiita
DynamoDBの公式ドキュメントを読む際に必要な前提用語 - Qiita
DynamoDB の S3への増分エクスポートを試してみた - Qiita
Amazon DynamoDB の S3 への増分エクスポートについての発表
DynamoDBの初心者に伝えたい初めて触るときの勘所
AWS DynamoDB で超低コストな全文検索を実装しよう 〜実装編〜 - Qiita
WindowsでDockerを利用してDynamoDBサーバーをたちあげる時の注意点。