[アップデート]PartiQLを使ったDynamoDBのCRUD操作が可能になりました | DevelopersIO
CX事業本部＠大阪の岩田です。 2020/11/23付けのアップデートにより、PartiQLを利用したDynamoDBのCRUD操作が可能になりました これまでDynamoDBのテーブルデータを操作するにはGetItemやPutItemといった独自の操作を利用する必要がありましたが、今後はPartiQLを利用した操作方法を選択することも可能になりました。PartiQLはSQL互換のクエリ言語なので、RDBの利用経験がある人が新たにDynamoDBに挑戦する際のハードルが下がったのでは無いでしょうか？ PartiQLを利用したDynamoDBのオペレーションにおいても、GetItemやPutItemといった従来のオペレーションと同等の可用性、レイテンシー、パフォーマンスが提供されるとのことで、PartiQLを利用したからパフォーマンスが上がる/下がるといったことは無いようです。純粋に利用者側
![[アップデート]PartiQLを使ったDynamoDBのCRUD操作が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92798d27ecd714ee7e20f9cbdf99cfcf8d03aa46/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-dynamodb.png)
ServerlessなサービスのBlue/Greenデプロイメントの現実 | HiCustomer Lab - HiCustomer Developer's Blog
雑談 いやー春が近いですね。ウキウキのHiCustomerの小田です。最近の騒動で知ったんですが、Linuxカーネルのstableへのバグフィックスの一部はNeural networkを使って自動的に選定されてバックポートされているようです。正直まだGregの超絶な能力のみを使ってマニュアルでさばいているのかと思っていました。一般的にバグのバックポートはめちゃめちゃerror-proneな作業なため、その辺が進化してくれると今後いろんなソフトウェアが幸せになりそうです。詳細は以下にまとまっています。PatchNetの実装が見たかったんですが、ネットに情報がなさすぎて追い切れなかったです。ご存知の方は教えてください。 The case of the supersized shebang きっかけになった騒動です。偽陽性や偽陰性を２つともゼロにはできないので、意図しないパッチが入ってしまったり
DynamoDBの各データを自動で削除する機能（TTL:Time to Live）を試してみた | DevelopersIO
はじめに サーバーレス開発部の藤井元貴です。通勤しないと運動不足になる気がします。あとポケモンGOの卵が孵化しません……。 DynamoDBのTTL（Time to Live）機能は、レコード毎にデータの有効期限を指定でき、その有効期限を過ぎるとデータが自動削除されます。 そのため、「不要なデータを削除するバッチ処理的な仕組み」が不要になります。これは嬉しいですね！！ 具体的にどう設定すれば良いのか分かりにくかったため、実際に試してみました！ おすすめの方 DynamoDB TTLについて知りたい 最初にまとめ カラムで指定した有効期限を過ぎると、自動でデータが消える 有効期限はNumber型のUnixtime（ミリ秒無し）を指定する 有効期限は日本時間でOK（東京リージョン） 削除処理はバックグラウンドで動く データの読み込みまたは書き込みのトラフィックに影響を与えない データは48時間
New – Amazon DynamoDB Transactions | Amazon Web Services
AWS News Blog New – Amazon DynamoDB Transactions May 20, 2024: As of September 2022, DynamoDB now supports 100 items per transactions. March 13, 2020: Post updated to clarify how to use transactions with global tables and the increase in the maximum number of items per transaction from 10 to 25. Over the years, customers have used Amazon DynamoDB for lots of different use cases, from building micr
DynamoDBデータモデリング虎の巻：第参巻 〜実践編〜 - misc.tech.notes
前巻のおさらい 前巻はDynamoDBのデータモデリングをするにあたって必要な考え方について、RDBとの対比を交えながら触れてきました。 marcy.hatenablog.com 今回は この巻では、実際にどのようにデータモデリングしていけば良いのかといった実践的な内容を、いくつかの汎用的と思われるパターンを例にしつつ書き記していきたいと思います。 たぶん、今までの３巻の中で一番今までの巻を理解していないとピンと来ない内容だと思うので、まずは第壱巻と第弐巻を読むことをオススメします。 Partition Keyの決め方 まずは、DynamoDBでテーブルを作る際に必ず必要な Partition Key の決め方です。前巻では以下のように書きましたが、じゃあ実際にその識別子はどうやって採番するのか？ということです。 ECサイトなら「ユーザ」「商品」「注文」といった特定の意味のある存在を表す実
DynamoDBデータモデリング虎の巻：第弐巻 〜考え方編〜 - misc.tech.notes
前巻のおさらい 前巻はDynamoDBのデータモデリングをする前に知っておいた方が良いDynamoDB自体の仕組みやデータ構造のお話でした。 marcy.hatenablog.com 今回は 今回はデータモデリングを行う際に必要なマインドセット、つまり「考え方」について書き記したいと思います。非常によく聞かれる「RDBとの考え方の違い」といった切り口で進めていきたいと思います。 RDBとはアプローチが真逆 RDBのデータモデリングをする場合、まず正規化されたデータのスキーマを決めることから始めると思います。慣れてくると律儀に第一正規化から始めずにいきなり第三正規形あたりから設計しだすことも多いと思います（私もそうです） そして、データのスキーマが決まってからそれに対してどのようにアクセスするか（＝SQL）をアプリケーションを設計する際に考えていくというのがRDBでの一般的なアプローチではな
DynamoDBデータモデリング虎の巻：第壱巻 〜前提知識編〜 - misc.tech.notes
動機など 最近、Serverlessの文脈からDynamoDBのテーブル設計の相談を受けることが多くなってきていて、Podcastでも話したけどけっこう図とかが無いと説明しづらい領域なので、まとまった資料がほしいなということでまとめてみる。 cloudinfra.audio どう考えても長編大作エントリ不可避なので気力が続けば第二巻以降に続きます…！（フィードバックが多いと頑張れるかも…！） 本巻の対象と前提知識 本巻はDynamoDBのデータモデリングにスコープを絞っています。DynamoDBおよびデータベースの一般用語などについての説明は省きます。 前提知識としては以下のようなものになるかと思います。 DynamoDBのサービスとしての概要や用語( WCU , RCU , GSI , LSI など)を知っている Hash TableやB-Tree(B+Tree)といったデータ構造がどん
GREE 流！AWS をお得に使う方法
より詳細なCQRSに関する資料はこちら https://little-hands.hatenablog.com/entry/2019/12/02/cqrs 参考資料：http://little-hands.hatenablog.com/entry/jjug2017fall 社内新規プロダクトでDDD, CQRSの思想をベースとしたアーキテクチャを構築し、コマンド(更新系処理)ではSpring Data JPA(Hibernate)を、クエリ(参照系処理)ではjOOQを採用しました。 結果としてそれぞれのORMの良いところを生かした組み合わせのアーキテクチャが構築できたので、その経緯と得られた知見についてお話ししたいと思います。 以下のようなトピックを考えています。 ・CQRSの定義とメリットデメリット ・DDD,CQRSを検討するにあたってのORMの選定ポイント ・構築したアーキテクチャ
Amazon DynamoDB（初心者向け 超速マスター編）JAWSUG大阪
20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver The document discusses Amazon Route 53 and Route 53 Resolver for hybrid cloud DNS. It explains that Route 53 Resolver allows DNS queries to be resolved between on-premises networks and AWS resources using private and public DNS zones. It provides examples of configuring inbound and outbound endpoints to allow resolution of queries fro
AWS Black Belt Techシリーズ Amazon DynamoDB
AWS Black Belt Techシリーズ Amazon DynamoDB 1. Amazon DynamoDB AWS Black Belt Tech Webinar 2014 Yuta Imai Solutions Architect, Amazon Data Services Japan, K.K. 2. Agenda • NoSQLとRDB • DynamoDBとは • テーブル設計とサンプル • 運用関連 • ツールとエコシステム • まとめ 3. Agenda • NoSQLとRDB • DynamoDBとは • テーブル設計とサンプル • 運用関連 • ツールとエコシステム • まとめ 4. よく見かけるNoSQLデータベース • Neo4j • Couchbase • DynamoDB • MongoDB • Riak • HBase • Cassandra 5. No
時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
DynamoDBのインフラコスト構造と削減策 - ゆううきブログ
Amazon DynamoDBは、RDSのようなインスタンスサイズによる課金モデルではなく、ストレージのデータ使用量とスループットを基にした課金モデルになっている。 インスタンスサイズによる課金モデルでないデータストア系サービスとして、他にはS3、Kinesisなどがある。 これらは、AWSの中でも、フルマネージドサービスと呼ばれる位置づけとなるサービスだ。 フルマネージドサービスは、ElastiCacheのようなそうでないものと比較し、AWSに最適化されていて、サービスとしてよくできていると感じている。 Mackerelの時系列データベースのスタックの一つとして、DynamoDBを採用している。 時系列データベースの開発は、コストとの戦いだったために、それなりにコスト知見が蓄積してきた。(時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ) (※ 以下は、2018
DynamoDB の基礎知識とまとめ - Qiita
DynamoDBを大雑把にさくっと日本語で理解したい方向けの説明。 (まだ書き途中) API Version 2012-08-10 を元に書いています。 印象と感想 管理が楽! 容量の増加を気にしなくていい! スループットやパフォーマンスの監視、管理が楽! ソーシャルゲームでは、一部のデータではすごく良さそう 検索や集計は弱いから、MySQLと併用 レイテンシが低いと書いてあるが、memcache の方が当然早い テーブル設計の理解と指定方法がちょっと面倒 料金体系の理解がちょっと面倒 DynamoDBとは何か? 大雑把に NoSQL, スキーマレスなAWS上のデータベースサービス スケールに関して何も気にしなくていい まずは、公式サイトを読むと概要はわかります。 Amazon DynamoDB （フルマネージドNo SQLデータベースサービス） | アマゾン ウェブ サービス（AWS 日
DynamoDBにおけるテーブル設計 - Qiita
インフラ構成はこんな感じ。アプリケーションサーバが集計を行います。 Phase 4: Hot hash問題 データが3,000万超えた辺りからアクセスが集中するとCloudWatchからアラートが飛ぶように。。 The level of configured provisioned throughput for one or more global secondary indexes of the table was exceeded. Consider increasing your provisioning level for the under-provisioned global secondary indexes with the UpdateTable API 気付いたらいつの間にかデータサイズが10GB超。プロビジョニングされたスループットを超えた書き込みが発生していました。
AWS LambdaがNode.js8.10をサポートしたのでasync/awaitを試してみた - Qiita
const AWS = require("aws-sdk"); const DynamoDB = new AWS.DynamoDB.DocumentClient({ region: "ap-northeast-1" }); const co = require("co"); exports.handler = (event, context, callback) => { co(function *(){ // scanの実行 const scanItems= yield DynamoDB.scan({TableName: "demo-table"}).promise(); // queryの実行 const queryItems = yield DynamoDB.query({ TableName: "demo-table", KeyConditionExpression: "#ID =
AWS 導入事例：グリー株式会社における Amazon DynamoDB 活用事例 | AWS
『アナザーエデン』のサービスイン直後のアクセス数は事前予測の数倍で、数日中に 100 万ダウンロードを達成する規模でしたが、Amazon EC2 および Amazon DynamoDB のオートスケーリングによって、サーバリソースの不足によるサービス停止は一度も起きていませんし、ハードウェアの障害によるものもほとんどありません。 突発的なアクセス数の増大についても、事前のスケジューリングやアラートに合わせたスケールアップなど、多重化された負荷対応の機構が円滑に稼働することで、運用開始から数ヶ月経った現在では、専任の担当者が不要となっています。 グリー株式会社は 『インターネットを通じて、世界をより良くする。』 をミッションに掲げ、ソーシャル・ネットワーキング・サービス（SNS） GREE をはじめ、世界初のモバイルソーシャルゲームを開発するなど、日本のモバイルインターネットサービスを牽引し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サーバーレスとスケーラブルなデータ集計 / Aggregate Processing with Serverless
GitHub - stevearc/flywheel: Object mapper for Amazon's DynamoDB
Welcome to PynamoDB’s documentation! — PynamoDB 6.0.0 documentation
GitHub - yfilali/graphql-pynamodb: Graphene PynamoDB Integration