AWS IoTとLambdaとDynamoDBでオフィス環境を可視化してみた - SMARTCAMP Engineer Blog
スマートキャンプエンジニアの今川(@ug23_)です。 10月中旬に、スマートキャンプのエンジニアチームで開発合宿にいってきました。合宿のテーマは、スマートキャンプのミッションテクノロジーで社会の非効率を無くすになぞらえて、テクノロジーでSMARTCAMPの非効率を無くすでした。合宿を楽しんでいるメンバーの様子は来週のブログでお届けする予定なので、このエントリでは作ったものについて触れます。 解決する課題 できたもの - bony システム構成 オフィスのヒートマップ AWS IoT Coreを使ってみて ふりかえり さいごに 解決する課題 合宿のチーム分けが決まり、合宿のためのプロダクトを検討し始めた頃、我々はちょうどオフィス移転から2ヶ月後ぐらいの真夏の時期でした。チームで社内の課題を出し合ったところ、オフィス移転してから風邪引いてるひと増えたかも、空調が効き過ぎていて寒いって言ってる
GitHub - awslabs/dynein: DynamoDB CLI written in Rust.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） | DevelopersIO
はじめに こむろ@事業開発部です。 今回、5年以上稼働していた SpringBoot アプリケーションを エンドユーザーへの影響を最小にして、別のAWSアカウントへ完全に移行させました。その調査、検討、実施した際の想定外のトラブルやその対処について記録します。 私は主に全体のとりまとめを担当し、アプリケーション内で使うデータの関係性のチェックや移行作業全体のスケジュール作成、切り戻し計画の作成、メンバーへのタスク依頼、顧客調整等々を行いました。 概要 全体が無駄に長くなってしまったのでまとめると以下になります。 Elastic Beanstalk （1 Container Docker）で動作していた Spring Boot アプリケーションを、別の AWS アカウントの Fargate 環境へ引っ越し 作業時間は最大 5 時間 転送はもちろん、データの完全一致の保証も含めて 移行対象デー
Build a CQRS event store with Amazon DynamoDB | Amazon Web Services
AWS Database Blog Build a CQRS event store with Amazon DynamoDB The command query responsibility segregation (CQRS) pattern, derived from the principle of command-query separation, has been popularized by the domain-driven design community. CQRS architectures that use event sourcing save generated events in an append-only log called an event store. By using event sourcing, you can, among other ben
DynamoDBで分散ロックを実現するsetddblockと現代版アクセスカウンター - KAYAC engineers' blog
こんにちは。今年からアナリティクスエンジニアを名乗ろうとしてる池田です。 こちらは、KAYAC Advent Calendar 2021 1日目の記事です。 この記事では、setddblockという分散ロックを実現するためのツールと、その動作試験のために現代版アクセスカウンターを作成した話をします。 setddblock 皆様がcronなどで定期実行のスクリプトを実行する場合、同時実行されては困るものはどうしていたでしょうか？ daemontoolsのsetlock というツールを使って同時実行を防いでいたことがある方も多いと思います。 http://cr.yp.to/daemontools/setlock.html このsetlock はローカルのファイルシステム上にロックファイルを作成し、ロックファイルの作成が成功したら指定されたコマンドを実行するというツールです。 例えば1分ごとに起
[アップデート]PartiQLを使ったDynamoDBのCRUD操作が可能になりました | DevelopersIO
CX事業本部＠大阪の岩田です。 2020/11/23付けのアップデートにより、PartiQLを利用したDynamoDBのCRUD操作が可能になりました これまでDynamoDBのテーブルデータを操作するにはGetItemやPutItemといった独自の操作を利用する必要がありましたが、今後はPartiQLを利用した操作方法を選択することも可能になりました。PartiQLはSQL互換のクエリ言語なので、RDBの利用経験がある人が新たにDynamoDBに挑戦する際のハードルが下がったのでは無いでしょうか？ PartiQLを利用したDynamoDBのオペレーションにおいても、GetItemやPutItemといった従来のオペレーションと同等の可用性、レイテンシー、パフォーマンスが提供されるとのことで、PartiQLを利用したからパフォーマンスが上がる/下がるといったことは無いようです。純粋に利用者側
![[アップデート]PartiQLを使ったDynamoDBのCRUD操作が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92798d27ecd714ee7e20f9cbdf99cfcf8d03aa46/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-dynamodb.png)
AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い －Serverless(Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service)、オンデマンドモード(DynamoDB、Kinesis Data Streams)－ - NRIネットコムBlog
小西秀和です。 Amazon Aurora、Amazon Neptune、Amazon EMR、Amazon Redshift、Amazon Managed Streaming for Apache Kafka(Amazon MSK)、Amazon OpenSearch Serviceなどのインスタンスで構成されたクラスターで処理を実行するAWSサービスでは、従来、リクエストを処理するために待ち受けているインスタンスの起動時間とインスタンスサイズに応じて料金が発生する課金体系でした。 近年ではこうしたクラスター型のAWSサービスの一部にリクエストやトラフィック処理に使用した時間やリソース量の分だけ料金が発生する課金体系が「～Serverless」のような名称で追加されてきています。 例えば前述したAWSサービスにはAmazon Aurora Serverless(v1, v2)、Amazo
RailsアプリケーションのCIにDynamoDB Localを導入した話 - クックパッド開発者ブログ
こんにちは、事業開発部 サーバーサイドエンジニアの堀江(kentarohorie)です。 今回はRailsアプリケーションのCIにDynamoDB Localを導入した事例をご紹介します。 広告入稿システムとCI クックパッドでは自社製の広告入稿システム・配信サーバーを運用しています。また広告の一部はDynamoDBを利用したアーキテクチャで入稿・配信されています。詳細は以前の記事「広告配信サーバーにおける DynamoDB Accelerator (DAX) 活用事例の紹介」で紹介されています。この入稿・配信のうち、広告入稿システムのCIに対してDynamoDB Localの導入を行いました。 広告入稿システムのCIではブランチへのpush、またはmasterへの変更をトリガーにCIサーバー上でスクリプトが実行されていました。CIサーバーにはMySQLやPostgreSQLの環境が用意さ
DynamoDB から Redshift へデータ移送する話 （RedshiftのSUPER型の利用事例） - KAYAC Engineers' Blog
こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (プレビュー) 』という記事が公開され、2021年04月時点でもPreview状態です。 このSUPER型は、ログやDynamoDBストリームに見られるJSONおよび半構造化データと非常に相性がよく、使い始めてみると【素晴らしい！】と言う感想を得るので、皆様も是非使ってみてください。 背景 2021年4月現在では、Tonamel という大会プラットフォームサービスのデータ基盤 構築業務・整備を行っております。 To
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
Amazon DynamoDB に負荷をかけ、検証する方法をご紹介 | AWS - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
皆さんこんにちは、Game Solutions Architect の邵 (@axot) です。 以前 AWS ブログの Amazon DynamoDB スケーリングのベストプラクティス という記事で DynamoDB 運用する際のポイントを紹介しました。 本記事では、DynamoDB に負荷をかける方法をご紹介します。さらに、それを応用してスパイクおよび不均等なアクセスパターンについてのテストおよび解説もご紹介します。最後まで是非ご覧ください ! まず、今回のテストのための DynamoDB テーブルを作成します。 ベンチマークではなく、負荷の掛け方や性質を確認が目的なので、ReadCapacityUnits(RCU)、WriteCapacityUnits(WCU) とも最小限に 1 に設定しています。 また、ソートキー については本日のテストで利用しないため、プライマリキーのみを作成し
【新機能】Amazon DynamoDB Table を S3 に Export して Amazon Athena でクエリを実行する | DevelopersIO
テーブルのデータを S3 へエクスポート DynamoDB にエキサイティングな機能が追加されました。Data Export 機能です。この新機能を使えば、No Code で DynamoDB Table のデータを S3 に出力できます。 New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | AWS News Blog ユースケースは？ そもそも DynamoDB は NoSQL データベースです。大量のデータを保存するワークロードに向いている一方、集計、走査、検索については効率の面で限界があります。では「DynamoDBに保存されたデータを集計して分析したい」という要件にどう応えるかというと、分析したいデータはとりあえずS3に入れておいてETL
Amazon DynamoDB now supports bulk imports from Amazon S3 to new DynamoDB tables
Amazon DynamoDB now makes it easier for you to migrate and load data into new DynamoDB tables by supporting bulk data imports from Amazon S3. Now, you can import data directly into new tables to help you migrate data from other systems, load test data to help you build new applications, facilitate data sharing between tables and accounts, and simplify your disaster recovery and business continuity
AWSアカウント間のDynamoDBデータ移行計画の記録（計画の実行と想定外の事象） | DevelopersIO
今まで記載してきた様々な検証については、 3 名でそれぞれ役割を分担して行ってきました。当日の作業実施もお願いしています。 移行作業のスケジュールについて 移行作業のスケジュールは、以下の要領で確定させました。 まずは我々の方で、遅延、リトライが見込まれる作業のバッファを積んだ上で暫定スケジュールを作成 顧客と調整し、完全システムオープンの時刻から、各連携システムの検証時間を引いて転送完了デッドラインの時刻を逆算 転送完了デッドラインの時刻に確実に終わるように、作業開始時刻を逆算 転送作業スケジュールにはバッファを積んでいるため、最悪のケースの作業時間で計画しています 作業開始時刻にすぐ作業が始められるよう、影響がない範囲で事前に準備できる作業をいれる 今回は、完全システムオープン時にはすべての連携システムが正しく動いてることを保証していなければなりません。そのため、最悪ここまでに転送が完
You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB
You now can use PartiQL (a SQL-compatible query language)—in addition to already-available DynamoDB operations—to query, insert, update, and delete table data in Amazon DynamoDB. PartiQL makes it easier to interact with DynamoDB and run queries in the AWS Management Console. Because PartiQL is supported for all DynamoDB data-plane operations, it can help improve the productivity of developers by e
Ten years ago, Amazon Web Services (AWS) launched Amazon DynamoDB, a fast, flexible NoSQL database service that offers single-digit millisecond performance at any scale. In an online post on Jan. 18, 2012, Werner Vogels, chief technical officer at Amazon.com, wrote: “Today is a very exciting day as we release Amazon DynamoDB, a fast, highly reliable and cost-effective NoSQL database service design
AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers
NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び
Amazon Web Services ブログ Amazon DynamoDB スケーリングのベストプラクティス はじめに 長年にわたって、Amazon DynamoDB はものすごいスピードで進化を遂げています。グローバルセカンダリインデックス(GSI)、クエリ式のサポート、Auto Scaling 機能、そして、ポイントインタイムリカバリ (PITR) 、オンデマンドモードを断間なくリリースされました。お客様はモバイルバックエンドをはじめ、ゲームや IoT (Internet of Things) の実装まで、さまざまなユースケースで DynamoDB を使用してきました。 本記事は、DynamoDB を利用する中で、スケーリングの部分に焦点に当たって、スケーリングを考えるときのポイントを説明します。その後、代表的なワークロード、例えば、新しいサービスローンチや、ゲームにおいては新しい
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］ 現在、企業で使われているデータベースの主な役割は、会計や経理、受発注管理、製造管理など、社内業務を適切に管理することで経営を支援するためにデータを記録、分析するための基盤でしょう。 しかしそれに加えて現在急拡大しているのが、顧客との取引やコミュニケーションの履歴やアンケート結果、ソーシャルメディアのデータなど、さまざまな種類の膨大なデータを蓄積し分析することで、適切かつ効果的な顧客や顧客候補とのエンゲージメントを実現するためのデータの蓄積と分析基盤としての役割です。 データを活用して企業と顧客とのエンゲージメントを高めるサービス「MicoCloud」を提供するMicoworks社は、まさにこうした新しいデータベース基盤の実現と利用によって急成長している企業の1つです
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service | USENIX
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service Mostafa Elhemali, Niall Gallagher, Nicholas Gordon, Joseph Idziorek, Richard Krog, Colin Lazier, Erben Mo, Akhilesh Mritunjai, Somu Perianayagam ,Tim Rath, Swami Sivasubramanian, James Christopher Sorenson III, Sroaj Sosothikul, Doug Terry, Akshat Vig, Amazon Web Services Amazon DynamoDB is a NoSQL cloud
こんにちは。開発部の高橋です。 本記事はdely #1 Advent Calendarの11日目の記事です。 adventar.org dely #2もあるのでこちらもどうぞ。 adventar.org 昨日はうっくんさんの「UIデザイナーがSwiftを学んでUIを実装したら生産性が爆上がりした」でした。 note.com 先月末、DynamoDBがSQL互換言語であるPartiQLに対応しました。 aws.amazon.com PartiQLとはSQL互換のクエリ言語で、PartiQLから出力される中間表現を各サービスが対応することによって様々なサービスがSQLライクに操作できるようになります。 aws.amazon.com 今回の対応で、DynamoDBのGetItemやPutItemといった操作をSQLライクに実行できるようになりました。 また、それに合わせてRubySDKの方でも早
AWS Lambda Supports Parallelization Factor for Kinesis and DynamoDB Event Sources
AWS Lambda now supports Parallelization Factor, a feature that allows you to process one shard of a Kinesis or DynamoDB data stream with more than one Lambda invocation simultaneously. This new feature allows you to build more agile stream processing applications on volatile data traffic. By default, Lambda invokes a function with one batch of data records from one shard at a time. For a single ev
フューチャー夏休み自由研究連載12本目の記事です。 はじめにはじめまして。TIG DXユニットの富山です。2020年4月新卒入社です。 夏休み自由研究連載の11本目の記事で公開されたSlack×GASの日報テンプレBOTを実務に導入してみたの執筆者である仁木さんと同期です。 私が参画しているプロジェクトでは、データベースにDynamoDBを採用しています。私は、RDBMSしか使用した経験がなかったので、NoSQLであるDynamoDBの理解にとても苦しみました。そこで今回の夏休み自由研究では理解した内容をまとめてみたいと思います！ つまったポイントサマリ― これらが理解できるような記事を目指します。 DynamoDBとは公式ドキュメントによると、 Amazon DynamoDB は、規模に関係なく数ミリ秒台のパフォーマンスを実現する、key-value およびドキュメントデータベースです。
AWS AppSyncキャッシングとAmazon DynamoDBトランザクションのサポートによりGraphQL APIのパフォーマンスと一貫性が更に向上します | Amazon Web Services
Amazon Web Services ブログ AWS AppSyncキャッシングとAmazon DynamoDBトランザクションのサポートによりGraphQL APIのパフォーマンスと一貫性が更に向上します AWS AppSyncはGraphQLのマネージドサービスで、単一または複数のデータソースのデータに安全にアクセスしたり、操作したり、結合するための柔軟なAPIを作成でき、アプリケーション開発をシンプルにすることができます。多くの場合、異なったデータソースは異なったユースケースに合わせて最適化され、データが配信されるスピードも異なっていることでしょう。その基になるGraphQLスキーマで定義されているデータフィールドもかなり多様です。 たとえば、eコマースアプリケーションでは、在庫量を表すデータフィールドは頻繁に更新されますが、顧客プロフィールの更新は時々です。トランザクションIDに
CSVデータをS3にアップロード時AWS Lambdaをトリガーし、自動的にDynamoDBへデータを書き込んでみた | DevelopersIO
CSVデータをS3にアップロード時AWS Lambdaをトリガーし、自動的にDynamoDBへデータを書き込んでみた はじめに Amazon S3バケットにアップロードしたCSVデータをAmazon DynamoDBテーブルに自動的に書き込むAWS Lambdaの作成方法を紹介します。 CSVデータをAmazon S3バケットにアップロード時、AWS LambdaをトリガーしAmazon DynamoDBテーブルにデータを書き込む方法について紹介します。 CSVデータをAmazon S3バケットにアップロード時、AWS LambdaをトリガーしDynamoDBにデータを書き込んでみた 構成は以下の通りです。 本構成では、AWSマネジメントコンソールからS3バケットにCSVファイルをアップロードすると、S3のPUTイベントをトリガーとしてLambda関数が起動します。Lambda関数は、CS
Amazon Aurora, Redshift, DynamoDBのワークロード別性能を比較する - Qiita
はじめに AWSが提供する代表的なDBサービスには、クラウド前提で設計されたRDBのAmazon Aurora、 データ分析特化型RDBのAmazon Redshift、ワイドカラム型DB(NoSQL)のAmazon DynamoDB1があります。AWSの各DBサービスの使い分けについては、一般的には概ね業務系システムのDBにはAuroraやDynamoDB、分析系システムのDBにはRedshiftを利用すれば良いとされていますが2、その根拠について定量的に確かめてみたいと思ったので、実際にOLTP/OLAPワークロード別の負荷をかけて各DBサービスの性能特性の違いについて確認してみました。 ※実際のシステム性能は様々な条件により変動します。あくまでも参考情報の一つとして捉えていただきますようお願いします。 前提知識 まず前提となる考え方として、OLTP/OLAPワークロードについて概説し
AWSアカウント間のDynamoDBデータ移行計画の記録（事象の回避とまとめ） | DevelopersIO
はじめに 随分間が空いてしまいました。 想定外の事象の原因についてとその回避策、そしてまとめ。これで最後です。 前回まで 3 回にわたって手法の検証、計画の作成、実施について記載しました。 AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） AWSアカウント間のS3, DynamoDBデータ移行計画の記録（データ完全性検証方法の検討） AWSアカウント間のDynamoDBデータ移行計画の記録（計画の実行と想定外の事象） 今回は、実施時に発生した事象についての原因の説明と回避について記載します。 発生した事象について おさらいになります。前回発生した事象から。 取り込みの Producer 及び転送用の Worker が想定以上に働いておらず、転送対象のテーブルの Write Capacity Unit が想定の 1/5 程度で頭打ちになってしまってい
DynamoDBのテーブルを1つだけにする設計のコツ（考え方編） - @mizumotokのブログ
DynamoDBは高速でスケーラブルでとても便利なデータベースです。便利なのですが、テーブル設計にはRDBMSのノウハウをそのまま使えません。例えば、DynamoDBではテーブルを１つだけにすることが推奨されています。テーブルを１つだけにする設計手法について考えてみましょう。 DynamoDBの特長 できるだけ少ないテーブル数で 1つのテーブルでの設計例 データの収集 クエリの洗い出し １つのテーブルにする クエリーにあわせてセカンダリーインデックス 設計を汎用的に まとめ DynamoDBの特長 DynamoDBはAWS（アマゾンウェブサービス）で提供される、とても便利なNoSQL データベースサービスです。高速なパフォーマンスとシームレスなスケーラビリティが特長です。 RDBMSではディスク容量が足りなくなったりしたら、基本的にはディスクを増やす等の「スケールアップ（リソースを一箇所に
DynamoDBでSQLが使える!?DynamoDB+PartiQLで何が出来るのか試してみた | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 先日DynamoDBについて以下の発表がありました。 え！？DynamoDBでSQL使えるようになるの？何がどこまでできるのか気になったのでドキュメントを参照しながら試してみたいと思います。 正確にはSQL互換のクエリ言語のPartiQLを使いますが、本稿ではSQLと呼称して記述していきます。 DynamoDB+PartiQLの操作についてはこちらのブログでも確認できます。こちらはAWS CLIを使用した操作について書かれています。 ドキュメント ドキュメントは以下から確認できます。 アクセス方法は現状以下の3パターンあるようです。 DynamoDBのWebコンソール(新バージョンのみ) AWS CLI AWS SDK(Java) 今回はWebコンソールで操作を試してみます。 CRUD操作してみた WebコンソールからSQLを実行します。まず最近でた
楽観的排他制御（楽観的ロック）とは、同時アクセスによるデータの不整合を防ぐ排他制御（ロック）の手段です。バージョン番号や更新日時を利用して、データを取得してから更新するまでの間、データが変更されていないことを確認することで整合性を保ちます。対照に悲観的排他制御（悲観的ロック）では、データを取得する際にロックをかけることで整合性を保ちます。 DynamoDBでは楽観的排他制御を実装できます。また、DynamoDBのトランザクションでは楽観的排他制御が採用されています。 DynamoDBで楽観的排他制御 AWS LambdaでDynamoDBのデータを更新する際に、条件付き書き込みを使用してバージョン番号で楽観的排他制御を実装してみます。 DynamoDBに商品テーブルProductを作成して次のデータを格納しておきます。 productName(PK) stock version Lambd
Single-table vs. multi-table design in Amazon DynamoDB | Amazon Web Services
AWS Database Blog Single-table vs. multi-table design in Amazon DynamoDB This is a guest post by Alex DeBrie, an AWS Hero. For people learning about Amazon DynamoDB, the idea of single-table design is one of the most mind-bending concepts out there. Rather than the relational notion of having a table per entity, DynamoDB tables often include multiple different entities in a single table. You can r
Golang(aws-sdk-go)でDynamoDBを操作するための基礎知識 - シー・エス・エス イノベーションラボ（ブログ）
皆さん、初めまして。資産運用システム課の藤田です。 私はこのたび社内のスキルチェンジプロジェクトに配属され、今まで触れてこなかった技術を学ぶ楽しさを知りました。 スキルチェンジプロジェクトとは、AWSおよび開発技術習得を目的とし、このプロジェクトに参加した経験を活かして、新しい知識・技術を効率的にインプット及びアウトプットできることを目標としています。 スキルチェンジプロジェクトについて詳しく説明した記事はこちら👇 blog.css-net.co.jp この場をお借りして、自力でGo言語とAWSサービスのDynamoDBについて理解できたことをアウトプットさせていただきます。概要としては、DynamoDBの基礎知識を紹介し、DynamoDBを実際にGo言語(aws-sdk-go)で操作した内容をお伝えします。 １．DynamoDBについて ２．DynamoDBで使われる用語 ３．セカンダ
【お手軽ハンズオンで AWS を学ぶ】AWS Amplify で Todo アプリを作ろう！ AWS AppSync ＆ Amazon DynamoDB によるリアルタイムメッセージング | Amazon Web Services
AWS Startup ブログ 【お手軽ハンズオンで AWS を学ぶ】AWS Amplify で Todo アプリを作ろう！ AWS AppSync ＆ Amazon DynamoDB によるリアルタイムメッセージング AWS Amplify は、モバイルアプリやウェブアプリの実装を手助けしてくれるフレームワークです。AWS 上のバックエンドをプロビジョニングすることで、iOS や Android 、 Web 、React Native 上などにあるフロントエンドと簡単に統合させることが可能になります。開発スピードが最重要視されるスタートアップにおいて、AWS Amplify が役に立つ場面は多いでしょう。 この記事では、2019年8月8日に開催された「AWS Amplify & Chalice ハンズオン 〜怠惰なプログラマ向けお手軽アプリ開発手法〜」の内容をベースに、 AWS Ampl
CQRS/Event SourcingといえばAkka/Scalaがオススメと言い続けてきたけど、言語やフレームワーク非依存というか、そういう縛りが緩い方法を考えた(実際に検証したわけではないですが、実装できるつもりで書いてます)ので、以下にまとめます。 前提 クラウド環境はAWS。コマンド側DBをDynamoDB。DynamoDBにそれなりに詳しい人向けに基礎的な部分の解説も省いてます。クエリ側DBは要件に応じて選択してください。とりあえずAuroraのつもりで書きます。 コマンド側で発生したイベントをクエリ側に伝搬させるために、DynamoDB Streamsを利用します。クエリ側のRead APIはRead DBを読むだけなので解説は省きます。 ドメインはショッピングカートです。 アプリケーションは伝統的なステートレスウェブアプリケーションを想定します。アプリケーションの最新状態(S
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内容は以下のような用途に役立ちます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（Contact Trace Record, CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力できます。通常は問い合わせレコードは、どのフローで切断され
DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた | DevelopersIO
コンバンハ、千葉（幸）です。 DynamoDB テーブルの中身を S3 バケットにエクスポートしたい、という場合があるかと思います。S3 にエクスポートしたものに対して、例えば Athena を利用して解析をかけたい、といったケースです。 AWS Glue や AWS Step Functions を利用して、定期的にエクスポートを行う仕組みについて以下のブログで紹介されているので、試してみました。 CloudFormation テンプレートや スクリプトが用意されているので、一通り流すだけでできます。 全体像としては以下のイメージです。 Data Pipeline, EMR, Glue の比較 Step Functions の Glue Workflow への置き換え Glue ETL スクリプトの 各種バージョン Glue ETL スクリプトのDynamoDB 読み取り並列度 目次 D
DynamoDBのIncremental Exportの仕様を理解する #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。最近NuPhy Air75 V2を衝動買いしたのですが、届いた直後にNuPhy Air60 V2が発売され、購入したい衝動を抑えるのに必死な@civitaspoです。バクラク事業部Platform Engineering部DevOpsグループとバクラク事業部Data &ML部Dataグループに所属しています。 この記事は、LayerXテックアドカレ2023の7日目の記事です。 昨日は@yuya-takeyamaが「Microsoft Graph API へのキーレス認証 (GitHub Actions編)」を書いてくれました。 次回はサクちゃんさんがエモい記事を書いてくれそうです。 2023年9月26日にDynamoDBがIncremental Exportをサポートしました。このIncremental Exportは「直近35日以内における特定期間の変更をChange Dat
【アップデート】DynamoDBの文字列型/バイナリ型項目に空文字列が登録できるようになりました！！ | DevelopersIO
CX事業本部@大阪の岩田です。2020/5/18付けのアップデートにより、DynamoDBの文字列型/バイナリ型項目に空文字列が登録できるようになりました。 簡単ですが、このアップデートについてご紹介します。 何が変わったの？ これまでDynamoDBでは文字列型およびバイナリ型の項目に空文字列を登録することができませんでした。 例えばBoto3を使って以下のようなデータを登録しようとすると、、、 { "id":1 , "attr1": "" } 以下のようなエラーが発生して登録することができませんでした。 One or more parameter values were invalid: An AttributeValue may not contain an empty string そのため、アプリケーションから空文字列を扱いたい場合は一旦空文字列をNULLに変換してからDynam
【JAWS-UG朝会】今更ながら Amazon DynamoDB の論文を真面目に読んでみた
2023/06/20のJAWS-UG朝会にて発表した資料。DynamoDBの英語論文を読んで面白かったところを発表
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon’s DynamoDB — 10 years later
Amazon DynamoDB スケーリングのベストプラクティス | Amazon Web Services
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service
DynamoDBでサポートされたPartiQLをRubySDKで利用する - dely Tech Blog
【入門】私を苦しめたDynamoDB | フューチャー技術ブログ
AWS DynamoDBで楽観的排他制御（楽観的ロック）をやってみた | DevelopersIO
DynamoDBを使ったCQRS/Event Sourcingシステムの構築方法(言語・F/W非依存)