Goのtext/templateを用いてDynamoDBやOpenSearch向けの大量のJSONデータを作成した話 | フューチャー技術ブログ
はじめにこんにちは、TIG所属の大江です。 性能テストを実施する際、テスト用の大量データを投入する場合があります。本番相当のデータを入れるために、数千万ないしは数億のデータが必要になる場合もあり、データ生成には一工夫を要です。 本記事では、大量データをDynamoDB／OpenSearch Serviceに投入した際、直面した壁と対応を紹介します。 投入方針様々な方法を調査した結果、以下の方法で投入するのが、効率が良いという結論に至りました。 DynamoDB: S3インポート機能OpenSearch: Bulk APIこれらの方法で投入するには、入力データをJSONファイル形式である必要があります。 また、対象システムでは数種のユニークIDを各項目に割り振る必要がありました。 そこで、Goのtext/templateパッケージを使いることにしました。 以下、生成スクリプトでデータ生成した
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
【AWS】SAA資格取得のための学習用備忘録(データベースサービス) - ポンサラの逆襲
メモ 以前取得したAWSの資格「クラウドプラクティショナー」に続き「ソリューションアーキテクトアソシエイト(SAA-C03)」取得を目指して勉強中！ いつも何か勉強するときは基本的に書きながら覚えるのでここでアウトプットします。 有益な情報かどうかは不明(笑) AWSのデータベースサービス システムの構成要素としてデータベースはなくてはならない存在。 1998年以降、データベースにも複数のアーキテクチャやデータモデルが登場しており、システムの特徴に応じて最適なDBを選択することが重要なポイントとなってきている。 AWSではデータベースサービスとして8つのサービスを提供している。 ソリューションアーキテクトとしてそれぞれのサービスの特徴を理解し、最適なサービスを選択する力を身につける。 データベースの2大アーキテクチャ AWSが提供するデータベースサービスは以下の9つ。 ・RDS ・Reds
AWS の舞台裏 – DynamoDB の UpdateTable の高速化 | Amazon Web Services
Amazon Web Services ブログ AWS の舞台裏 – DynamoDB の UpdateTable の高速化 AWS ではイノベーションのペースについてよく語られます。そしてその結果はこのブログ、AWS 新着情報ページや、毎週開催される AWS on Air ストリームで共有しています。今日は、舞台裏で起こっているイノベーションといった、少し変わった種類のイノベーションについてお話したいと思います。 AWS のお客様は、それぞれさまざまなサービスを組み合わせて利用しており、それらのサービスを独自の方法で使っています。すべてのサービスが計測および監視され、サービスの設計、構築、実行、スケーリング、進展を担当するチームは、得られるすべてのメトリクスに常に注意を払っています。このメトリクスは、サービスがどのように使用されているか、負荷がかかった状態でどのように機能するかについての
StepFunctionsでDynamoDBからS3にexportする - エムスリーテックブログ
【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法について解説します。 あらまし 方法 実装および解説 Prepare state CreateSnapshot state CheckExport state WaitToExport state Des
Amazon DynamoDB スケーリングのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB スケーリングのベストプラクティス はじめに 長年にわたって、Amazon DynamoDB はものすごいスピードで進化を遂げています。グローバルセカンダリインデックス(GSI)、クエリ式のサポート、Auto Scaling 機能、そして、ポイントインタイムリカバリ (PITR) 、オンデマンドモードを断間なくリリースされました。お客様はモバイルバックエンドをはじめ、ゲームや IoT (Internet of Things) の実装まで、さまざまなユースケースで DynamoDB を使用してきました。 本記事は、DynamoDB を利用する中で、スケーリングの部分に焦点に当たって、スケーリングを考えるときのポイントを説明します。その後、代表的なワークロード、例えば、新しいサービスローンチや、ゲームにおいては新しい
Amazon DynamoDB に負荷をかけ、検証する方法をご紹介 | AWS - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
皆さんこんにちは、Game Solutions Architect の邵 (@axot) です。 以前 AWS ブログの Amazon DynamoDB スケーリングのベストプラクティス という記事で DynamoDB 運用する際のポイントを紹介しました。 本記事では、DynamoDB に負荷をかける方法をご紹介します。さらに、それを応用してスパイクおよび不均等なアクセスパターンについてのテストおよび解説もご紹介します。最後まで是非ご覧ください ! まず、今回のテストのための DynamoDB テーブルを作成します。 ベンチマークではなく、負荷の掛け方や性質を確認が目的なので、ReadCapacityUnits(RCU)、WriteCapacityUnits(WCU) とも最小限に 1 に設定しています。 また、ソートキー については本日のテストで利用しないため、プライマリキーのみを作成し
GoとDynamoDBを用いた開発で反省していること | フューチャー技術ブログ
はじめにTIG真野です。失敗談をテーマにした連載で、ちょうどプロダクト開発的に良い区切りのタイミングでもあるため、振り返りがてら、DynamoDB,Go,AWS Lambdaの技術要素について自分自身の理解・見込みの甘さについて反省します。 DynamoDBのシステム項目created_atとかupdated_atのタイムゾーンはJSTにすれば良かったDynamoDBは日付型を直接サポートしておらず、文字列型で保存することになります。 https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/HowItWorks.NamingRulesDataTypes.html#HowItWorks.DataTypes.String データサイズや諸々の理由でUnixTime 勢力もあるかもしれませんが、アプリケーションから直接参照
「AWS SDK for PHP 3.x」を使ってDynamoDBにテーブルを作成する｜IT石ログ
AWS EC2 にPHP7.1と「AWS SDK for PHP3.x」を使ってDynamoDBにテーブルを作成する方法です。 接続するユーザーは 、IAMでユーザー登録したユーザを使います。 Amazon Web Servicesのコンソールに接続してIAMでユーザーを作成 ユーザーを作成するのはアクセスキーでPHPのプログラムからDynamoDBにアクセスするためです。 今回は「dynamodb」というユーザーを作成しました。 アクセスとしては、「AmazonDynamoDBFullAccess」ポリシーをアタッチしました。 アクセスキーが取得できたら、~/.aws/credentialsファイルを編集します。 以下を追記します。 [profile1] aws_access_key_id = YOUR_AWS_ACCESS_KEY_ID aws_secret_access_key =
DynamoDBの各データを自動で削除する機能（TTL:Time to Live）を試してみた | DevelopersIO
はじめに サーバーレス開発部の藤井元貴です。通勤しないと運動不足になる気がします。あとポケモンGOの卵が孵化しません……。 DynamoDBのTTL（Time to Live）機能は、レコード毎にデータの有効期限を指定でき、その有効期限を過ぎるとデータが自動削除されます。 そのため、「不要なデータを削除するバッチ処理的な仕組み」が不要になります。これは嬉しいですね！！ 具体的にどう設定すれば良いのか分かりにくかったため、実際に試してみました！ おすすめの方 DynamoDB TTLについて知りたい 最初にまとめ カラムで指定した有効期限を過ぎると、自動でデータが消える 有効期限はNumber型のUnixtime（ミリ秒無し）を指定する 有効期限は日本時間でOK（東京リージョン） 削除処理はバックグラウンドで動く データの読み込みまたは書き込みのトラフィックに影響を与えない データは48時間
Laravel のセッションストレージにDynamoDBを利用する - 早くエンジニアになりたい
yoshitake_1201 がスルーしているので代わりに書いちゃいます。 この記事は、 Fusic Advent Calendar 2018 5日目の記事です。 はじめに インフラのメイン担当として関わっている案件で、 ECS を使った構成で Laravel を動かすことになりました。 認証を含むWEBアプリケーションが複数のコンテナで動作するので、セッション管理が問題になってきます。 アプリケーション担当者と議論して、結果としてDynamoDBを使う運びになりました。 しかし、Laravel にはデフォルトで DynamoDB をセッションストレージとして使う機構は用意されていないので、今回はチーム内で実装することにしました。 やってみる Laravel の公式ドキュメントを確認しながら進めます。 HTTPセッション 5.7 Laravel ドライバの実装 カスタムセッションドライバで
DynamoDB の GUI ツールが公式から出たよ！ - Qiita
はじめに みなさんAWS使ってますか？ DynamoDB 使ってますか？ DynamoDB のコンソールってすごく使いづらくないですか？ 頑張っても100件しか表示されないし、その100件の中でしか昇順降順の並び替えできないし…見た目もなんかあれだし……… でも今回紹介するツールを使えばそんな悩みも解消されるかもしれません！ 今回紹介するのは NoSQL Workbench for Amazon DynamoDB です！ NoSQL Workbench for Amazon DynamoDB AWSが公式でリリースしたデスクトップアプリです。(2019/09/17時点ではプレビュー版) https://aws.amazon.com/jp/about-aws/whats-new/2019/09/introducing-nosql-workbench-for-amazon-dynamodb-n
LambdaをつかってS3にPUTされた情報のメタデータをDynamoDBで楽に管理する - Qiita
AWS Lambdaはre:Inventで発表された新しいコンピュートプラットフォームでクラウド上でコードスニペットをイベントドリブンで比較的簡単に動かせる特徴があります。例えばS3にデータがあがったとき、など今までだとどうしてもEC2をたてて、定期的にチェックをしながら動かす必要があったものが、文字通りS3側からイベントを発火してもらえるので、よけいなポーリングなどの手間がへり、結果的にコストをおさえながら目的を果たしやすくなっています。 そこで今回はS3上にあがったデータのメタデータをDynamoDBに管理するLambdaファンクションを作ってみたいと思います。 プレビューへの登録 まずはAWS Lambdaのプレビューを申し込みます。こちらから申し込む事が出来ます。 プレビュー申し込みは順番に案内しているみたいなので、申し込んだらあとは祈るのみです。 ファンクションの作成 今回はS3
非分散データベースを分散データベース化する「Dynomite」、Netflixがオープンソースで公開
RedisやMemcachedといったインメモリデータベースは非常に高速にレスポンスを返してくれるデータストアですが、それ単体ではスケーラビリティや可用性などに限界があります。 The Netflix Tech Blog: Introducing Dynomite - Making Non-Distributed Databases, Distributed Netflixがオープンソースで公開した「Dynomite」（ダイナマイトとは綴りが違うのに注意）は、こうしたデータストアを分散データベース化し、高速なデータストアの特長を活かしつつ高いスケーラビリティや可用性を実現するためのソフトウェアです。 アプリケーション側でシャーディングのような面倒なデータ構造を設定することなく、RedisやMemcachedをノードとし、CassandraやAmazonクラウドのDynamoDBのような大規
ビッグデータだけじゃない Amazon DynamoDBの活用事例
概要：弊社が運用するWebAPIサービスをオンプレミス環境からAWSクラウド環境へ移行させた取り組みについてご紹介します。 弊社が持つデータベースはレコード数が巨大であるものの、いわゆる「ビッグデータ」的ではないデータ構造や負荷パターンを持っています。これをAmazon DynamoDB上に展開してシステムを構築しましたが、結果としてデータの特性とAmazon DynamoDBの仕様とがうまくフィットして機能していると思います。 移行にあたって感じたAWSそのものやAmazon DynamoDBの特徴のほか、コスト面・運用面での変化についてもご紹介します。典型的なユースケースについては他のスペシャリストの方にお任せするとして、「こんな使い方もできるのか」というヒントをお伝えできればと思っています。Read less
Pairy : チャットデータを Redis から Amazon DynamoDB に全移行した話（１） - Tech Blog
CTOの椎名アマドです。 今回は、Pairyのチャットデータを全てRedisからAmazon DynamoDBに移行した話をしたいと思います。 我々が 2012年6月に カップル専用アプリ Pairy をリリースした時には、 データベースは MySQL と Redis の両方を利用するところで始めました。 Redis の役割は： 1. MySQLレスポンスのキャッシュ 2. プッシュ通知等のキュー 3. チャットのデータを全保管 サービスローンチ直後はまだ Appサーバー(EC2)１台と、MySQL & Redisを両方走らせてる DBサーバー(EC2)１台で十分だという判断で、しばらくはそんな構成でやってました。（S3などは省略） しかし、いざサービスが成長してくるともちろん MySQL & Redis を１台でまかなうのはキツくなり、MySQL と Redis を別々のEC2インスタン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cannot Override DynamoDB Endpoint · Issue #34 · awslabs/amazon-kinesis-client
Invalid type for AWS DynamoDB put-item via CLI (unicode v. dict)
DynamoDB Localを手軽に使える
公式のDockerイメージ #akibaaws / DynamoDB Local Docker Image