Amazon DynamoDB の論文を読んでいく - Qiita
概要 AWS で人気のサービス DynamoDB についての論文が公表され巷で噂になっていたと思う。 今回は、その論文を読み込んでいき、ざっくりまとめていくという記事になります。 完全趣味な記事なので、興味ある人がいれば幸いです笑 Abstract まず論文のタイトルですが、「Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service」と題したものとなっています。 Amazon DynamoDB は、NoSQL とよばれる部類のデータベースサービスです。 一貫した耐久性、可用性、パフォーマンスを提供してくれるマネージドなサービスなのが特徴ですね。 冒頭、2021年に66時間にわたる「Amazon Prime Day」中にピーク時8920万リクエスト/秒をさばいてい
Amazon DynamoDB の大量の時系列データの設計パターン | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB の大量の時系列データの設計パターン 時系列データは、経時変化のパターンを示しています。たとえば、次のグラフの例に示すように、センサーを通じて環境データを記録するモノのインターネット (IoT) デバイスがあります。このデータには、温度、気圧、湿度、その他の環境変数が含まれる場合があります。各 IoT デバイスは定期的にこれらの値を追跡するため、バックエンドは毎秒最大数百、数千、または数百万のイベントを取り込む必要があります。 このブログ記事では、大量の時系列データを扱うシナリオ用に Amazon DynamoDB を最適化する方法について説明します。これを、自動化とサーバーレスコンピューティングを活用した設計パターンを使用して行います。 DynamoDB で大量のイベントを設計する 通常、データ取り込みシステム
DynamoDBデータモデリング虎の巻：第弐巻 〜考え方編〜 - misc.tech.notes
前巻のおさらい 前巻はDynamoDBのデータモデリングをする前に知っておいた方が良いDynamoDB自体の仕組みやデータ構造のお話でした。 marcy.hatenablog.com 今回は 今回はデータモデリングを行う際に必要なマインドセット、つまり「考え方」について書き記したいと思います。非常によく聞かれる「RDBとの考え方の違い」といった切り口で進めていきたいと思います。 RDBとはアプローチが真逆 RDBのデータモデリングをする場合、まず正規化されたデータのスキーマを決めることから始めると思います。慣れてくると律儀に第一正規化から始めずにいきなり第三正規形あたりから設計しだすことも多いと思います（私もそうです） そして、データのスキーマが決まってからそれに対してどのようにアクセスするか（＝SQL）をアプリケーションを設計する際に考えていくというのがRDBでの一般的なアプローチではな
9月20日に発生したAmazonクラウドのDynamoDB障害。原因はセカンダリインデックス増大によるメタデータ処理のパンク
9月20日に発生したAmazonクラウドのDynamoDB障害。原因はセカンダリインデックス増大によるメタデータ処理のパンク Amazonクラウドが提供しているDynamoDBは、キーバリュー型のNoSQLデータベースサービスです。運用管理はクラウドに任せられて簡単に利用でき、高速かつ非常に大規模なスケールで展開できることなどを特長とする、クラウドならではのサービスの1つです。 そのDynamoDBで、米東リージョンにおいて9月20日午前2時頃（太平洋夏時間）から午前7時頃まで障害が発生。DynamoDBを利用しているEC2 Auto Scaling、Simple Queue Service、CloudWatch、そしてコンソールなどにも一時的な障害が発生していました。 また、この障害はAmazonクラウドを利用している他社のさまざまなサービスにも影響を与えたと報じられています。 Amaz
「大規模プッシュ通知基盤大解剖」最新記事一覧 - ITmedia Keywords
大規模プッシュ通知基盤大解剖（終）： 24時間途切れないサービスで有効なImmutable Infrastructureの運用方法 大規模プッシュ通知基盤について、「Pusna-RS」の実装事例を基にアーキテクチャや運用を解説する連載。今回は、Pusna-RSの運用面や発生した課題について、使用している技術やツール「AWS Elastic Beanstalk」「Jenkins」「Amazon CloudWatch」「GrowthForecast」「fluentd」「Elasticsearch」「Kibana」などの説明を交えながら紹介します。（2015/3/19） 大規模プッシュ通知基盤大解剖（3）： Node.jsのStream APIで大量プッシュ通知を高速化するテクニック 大規模プッシュ通知基盤について、「Pusna-RS」の実装事例を基にアーキテクチャや運用を解説する連載。今回は、
ビッグデータだけじゃない Amazon DynamoDBの活用事例
概要：弊社が運用するWebAPIサービスをオンプレミス環境からAWSクラウド環境へ移行させた取り組みについてご紹介します。 弊社が持つデータベースはレコード数が巨大であるものの、いわゆる「ビッグデータ」的ではないデータ構造や負荷パターンを持っています。これをAmazon DynamoDB上に展開してシステムを構築しましたが、結果としてデータの特性とAmazon DynamoDBの仕様とがうまくフィットして機能していると思います。 移行にあたって感じたAWSそのものやAmazon DynamoDBの特徴のほか、コスト面・運用面での変化についてもご紹介します。典型的なユースケースについては他のスペシャリストの方にお任せするとして、「こんな使い方もできるのか」というヒントをお伝えできればと思っています。Read less
TechCrunch | Startup and Technology News
Monzo has announced its 2024 financial results, revealing its first full-year pre-tax profit. The company also confirmed that it’s in the early stages of expanding into the broader European market… Last week, TechCrunch paid a visit to Apple’s Austin, Texas manufacturing facilities. Since 2013, the company has built its Mac Pro desktop about 20 minutes north of downtown. The 400,000 square foot fa
初めてのAWS（無料枠）でSalesforce to DynamoDBをやってみた - クラウド連携のリーディングカンパニー【株式会社テラスカイ】
初めてのAWS（無料枠）でSalesforce to DynamoDBをやってみた みなさん、こんにちは。 先月は連休が多かったので、家族サービスを程ほどに以前から興味があったAWSを一から勉強していました。時間に余裕のある中でまったり勉強するのも、たまにはいいものですね。 今回は、AWSに触れてみて思ったことや試してみたことについてお話ししたいと思います。 AWSに触れてみて まず最初は、以前購入した本や、動画で説明をしてくれるサイトを参考に、EC2（仮想サーバ）、RDS（RDBMS）、S3（ストレージ）を立ち上げてみました。 昔冷房がガンガン効いたデータセンターで凍えながら構築したような環境が、今ではコーヒーでも飲みながらブラウザでポチポチとボタンをクリックするだけで立ち上がるのは、知ってはいましたが実際に体験すると素直に感動します。 また、今更な話しだとは思いますが、一通り構築した環
Pairy : チャットデータを Redis から Amazon DynamoDB に全移行した話（１） - Tech Blog
CTOの椎名アマドです。 今回は、Pairyのチャットデータを全てRedisからAmazon DynamoDBに移行した話をしたいと思います。 我々が 2012年6月に カップル専用アプリ Pairy をリリースした時には、 データベースは MySQL と Redis の両方を利用するところで始めました。 Redis の役割は： 1. MySQLレスポンスのキャッシュ 2. プッシュ通知等のキュー 3. チャットのデータを全保管 サービスローンチ直後はまだ Appサーバー(EC2)１台と、MySQL & Redisを両方走らせてる DBサーバー(EC2)１台で十分だという判断で、しばらくはそんな構成でやってました。（S3などは省略） しかし、いざサービスが成長してくるともちろん MySQL & Redis を１台でまかなうのはキツくなり、MySQL と Redis を別々のEC2インスタン
Pairy : チャットデータを Redis から Amazon DynamoDB に全移行した話（２） 〜DynamoDB導入事例〜 - Tech Blog
CTOの椎名アマド ( @ima_amataro) です。 前回の記事：「Pairy : チャットデータを Redis から Amazon DynamoDB に全移行した話（１）」 前回はRedisをチャットのプライマリのストレージとして使う上での問題点と、 Amazon DynamoDB の特徴などを紹介しました。 今回はDynamoDBの詳細説明と、実際の移行作業と、その際にハマった点をお話していきます。 DynamoDBのテーブル構成 まずは DynamoDB 上のテーブル構成を考えるところから。 Redisにおいてはシンプルな list にチャットを保存していて、 chat.room.{room_id} {timestamp}:{user_id}:{urlencode(message)} {timestamp}:{user_id}:{urlencode(message)} {tim
DynamoDBのメモ書き＋使ってみた雑感 - アルパカDiary Pro
Amazon DynamoDBを使う機会があったので メモ書きと雑感を書き残してみます。 なんか間違ってたらツッコミ欲しいです。 Amazon DynamoDBとは ざっくりと噛み砕いて説明すると 「SSDでめちゃ速くて勝手にスケールしてくれるKVS」 ですかね。 詳しくは公式ドキュメントを。 http://aws.amazon.com/jp/dynamodb/#access_model_api_overview DynamoDBのデータ構造 DynamoDBは「テーブル単位」で管理します。 最初にテーブル名／主キー名／スループットなどを決定してテーブルを作成します。 Rowデータには連想配列っぽい感じでなんでも入れられます。スキーマレスってやつですね。 また、格納できるデータ型については「数値型」「文字型」です。 テーブルキーのアクセスモデル DynamoDBではテーブルを作成するときに
aws-dynamo-emr.pdf
Statistics Favorites 0 Downloads 8 Comments 0 Embed Views 1 Views on SlideShare 365 Total Views 366 aws-dynamo-emr.pdf Presentation Transcript DynamoDB ジャンプスタートプログラム EMRを使った運用方法アマゾン データ サービス ジャパン 株式会社 このセッションの目的EMRを使ったDynamoDBの運用方法についてハンズオンを通して理解する EMRの起動方法 Hive経由でのDynamoDB連携 DynamoDBのImport/Export Copyright © 2012 Amazon Web Services アジェンダEMRとDynamoDB連携の概要 EMRとHiveの概要 連携の概要ハンズオン 環境設定 Hive Job Flo
DynamoDB の基礎知識とまとめ - Qiita
DynamoDBを大雑把にさくっと日本語で理解したい方向けの説明。 (まだ書き途中) API Version 2012-08-10 を元に書いています。 印象と感想 管理が楽! 容量の増加を気にしなくていい! スループットやパフォーマンスの監視、管理が楽! ソーシャルゲームでは、一部のデータではすごく良さそう 検索や集計は弱いから、MySQLと併用 レイテンシが低いと書いてあるが、memcache の方が当然早い テーブル設計の理解と指定方法がちょっと面倒 料金体系の理解がちょっと面倒 DynamoDBとは何か? 大雑把に NoSQL, スキーマレスなAWS上のデータベースサービス スケールに関して何も気にしなくていい まずは、公式サイトを読むと概要はわかります。 Amazon DynamoDB （フルマネージドNo SQLデータベースサービス） | アマゾン ウェブ サービス（AWS 日
Dynamo: Amazonの高可用性Key-value Store[和訳]
Dynamo: Amazonの高可用性Key-value Store.markdown Dynamo: Amazonの高可用性Key-value Store[和訳] 原題：Dynamo: Amazon’s Highly Available Key-value Store 原文: Amazon's Dynamo - All Things Distributed (PDF Version) This article is translated by @ono_matope. Please contact me if any problem. Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati, Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubram
![Dynamo: Amazonの高可用性Key-value Store[和訳]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1ef26f6cb4349557952890dbe3e567f7f98dc151/height=288;version=1;width=512/https%3A%2F%2Fgithub.githubassets.com%2Fassets%2Fgist-og-image-54fd7dc0713e.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDBとは
[AWSマイスターシリーズ] Amazon DynamoDB![[AWSマイスターシリーズ] Amazon DynamoDB](https://cdn-ak-scissors.b.st-hatena.com/image/square/edca79e5f24e4bc7deb7f341b45285bae8c11b25/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20131002aws-meister-regenerate-dynamodb-public-131004025730-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)