並び順

ブックマーク数

期間指定

  • から
  • まで

121 - 160 件 / 344件

新着順 人気順

DynamoDBの検索結果121 - 160 件 / 344件

  • AWS SDK for GoでDynamoDBの式を扱うヘルパーパッケージの使い方 | フューチャー技術ブログ

    by Renée French はじめにTIG真野です。 DynamoDBをGoで操作することにかけては、DynamoDB×Go連載 に参加するくらい関心があるのですが、AWS SDK for Goの公式ライブラリに含まれる、ヘルパーパッケージについて存在を今までスルーしていました。使ってみると業務的には利用一択だと思ったので今後使っていくぞという覚書としてまとめます。 DynamoDBの式をダイレクトに実装した例私は公式のAWS SDK for Goのdynamodbパッケージを用いる時に、ドキュメントのExampleに書いてあるように、ちまちま ExpressionAttributeNamesやExpressionAttributeValuesやFilterExpressionやProjectionExpressionを指定していました。 どんな感じかと言うと次のような感じです。 Ex

      AWS SDK for GoでDynamoDBの式を扱うヘルパーパッケージの使い方 | フューチャー技術ブログ
    • Amazon DynamoDB 用 NoSQL Workbench のプレビュー版の発表

      AWS では本日付けで Amazon DynamoDB 用 NoSQL Workbench を発表しました。当ツールを使用することにより、開発者はスケーラブルでハイパフォーマンスなデータモデルを構築し、クエリの作成およびテストを行うための工程を簡素化できます。NoSQL Workbench は無料でご利用いただける Windows および macOS 用のクライアントアプリケーションです。 DynamoDB は、高速で予測可能なパフォーマンスとシームレスな拡張性を特長とするフルマネージド NoSQL データベースサービスです。非リレーショナルデータベースを使用するにあたっては、スケーラブルで柔軟性のあるデータモデルを設計することが重要になります。しかし、特にユーザーのデータアクセスパターンが不明な新しいアプリケーションを構築する場合、データモデルの設計が容易でないことがあります。NoSQL

        Amazon DynamoDB 用 NoSQL Workbench のプレビュー版の発表
      • AWS API GatewayとLambdaでDynamoDB操作|コラム|クラウドソリューション|サービス|法人のお客さま|NTT東日本

        テーブル作成 DynamoDBコンソール画面から「テーブル作成」ボタンを押下します。 テーブル作成画面で以下を設定し、画面右下の「作成」ボタンを押下します。 テーブル名に「SensorTables」を設定 パーティションキーに「DeviceID」を設定 「ソートキーの追加」にチェックを入れ、ソートキーに「SensorID」を設定 レコード作成 動作確認用に幾つかのレコードを作成します。 DynamoDBのコンソール画面から「テーブル」のメニュー画面を開きます。 「テーブル」一覧から「SensorTables」を選択します。 「SensorTables」の設定画面から「項目」タブを選択します。 「項目」タブの画面から「項目の追加」ボタンを押下します。 「項目の作成」画面が開くので、以下を設定します。 DeviceDに「Dev0001」を設定 SensorIDに「Temp001」を設定 Sen

          AWS API GatewayとLambdaでDynamoDB操作|コラム|クラウドソリューション|サービス|法人のお客さま|NTT東日本
        • DynamoDB Streamsを用いたAkka Streamsによるキャッシュ処理の実装とDynalystでのインターン | CyberAgent Developers Blog

          DynamoDB Streamsを用いたAkka Streamsによるキャッシュ処理の実装とDynalystでのインターン AI事業本部 Dynalystの黒崎(@kuro_m88)です。 今回はCA Tech JOBの制度を用いてインターンに参加して頂いた塚越さんからの寄稿記事です。 以下本文です。 みなさん初めまして! AI事業本部のDynalystというWeb広告に関するプロダクトのチームで、2020年3月の間 CA Tech JOBに参加させて頂きました、名古屋大学情報学部コンピュータ科学科4年の塚越駿(@hppRC)と申します。最近はもっぱら自然言語処理の研究やお勉強をしています。 本インターンでは、Scalaのactor modelを採用した並行処理ライブラリのAkkaと、それをベースにしたストリーミング処理用ライブラリのAkka Streamsを用いて、DynamoDB St

            DynamoDB Streamsを用いたAkka Streamsによるキャッシュ処理の実装とDynalystでのインターン | CyberAgent Developers Blog
          • Amazon DynamoDB におけるシングルテーブル vs マルチテーブル設計 | Amazon Web Services

            Amazon Web Services ブログ Amazon DynamoDB におけるシングルテーブル vs マルチテーブル設計 この文書は、AWS ヒーローであるAlex DeBrie によるゲスト投稿です。 Amazon DynamoDB について学ぶ人にとって、シングルテーブル設計という考え方は、最も心を揺さぶるコンセプトの1つです。DynamoDBのテーブルは、エンティティごとにテーブルを持つというリレーショナルデータベースのような概念ではありません。多くの場合、1つのテーブルに複数の異なるエンティティを含みます。 DynamoDBのシングルテーブルに関するデザインパターンについては、DynamoDBのデベロッパーガイドを読む、re:Inventのトークやその他のビデオを見る、私が執筆した本をチェックするなどで理解することができます。シングルテーブル設計の賛否両論に特に焦点を当て

              Amazon DynamoDB におけるシングルテーブル vs マルチテーブル設計 | Amazon Web Services
            • Amazon DynamoDB now supports resource-based policies

              Amazon DynamoDB now supports resource-based policies to help you simplify access control for your DynamoDB resources. With resource-based policies, you can specify the Identity and Access Management (IAM) principals that have access to a resource and what actions they can perform on it. You can attach a resource-based policy to a DynamoDB table or a stream. The resource-based policy that you attac

                Amazon DynamoDB now supports resource-based policies
              • [速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO

                AWS事業本部の森田です。 本日より、Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL がプレビューで利用できるようになりました! ゼロ ETL ゼロ ETLを利用することで、Amazon Redshift から各データベースのデータにアクセスして、ほぼリアルタイムの分析や機械学習が可能となります。 また、「ゼロ」と名前についているように ETL オペレーションを実行する複雑なデータパイプラインの構築なしで上記が実現可能となります。 ゼロ ETL については、昨年の reInvent で発表されたサービスととなっており、Aurora MySQL で一足先に一般提供を開始となっております。 プレビュー対象 以下のデータベース・リージョンで新たにプレビューでの利用

                  [速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO
                • AWS再入門ブログリレー Amazon DynamoDB編 | DevelopersIO

                  こんにちは、コンサル部のリサリサです。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2020』の 18日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう!という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2020 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 入門ということで、使い方より特徴的な部分をまとめてみました。1年前のDynamoDBを知らなかった頃の自分に向けて書いてみました! では、さっそ

                    AWS再入門ブログリレー Amazon DynamoDB編 | DevelopersIO
                  • 【AWS Amplify ノウハウ】 5. List API は DynamoDB で, Search API は Elasticsearch で! | DevelopersIO

                    【AWS Amplify ノウハウ】 5. List API は DynamoDB で, Search API は Elasticsearch で! こんにちは!コンサル部のテウです。 AWS Amplifyシリーズの5番目の記事です!今回は、List API と Search APIがそれぞれ異なるデータソースにQueryを実行ことによって生じる差について確認し、それぞれをどういった状況でどう使えるべきかについてお伝えします。 それでは始めます! List は List、Search は Search じゃない? 先ず、List と Search をなぜ比べているのか疑問を持たれた方々が多くいらっしゃるかと思います。当初、これらの用途はそれぞれ異なるのでしょう。ところで、Amplify が提供してくれる List API は、DynamoDB をデータソースとして用い、Search AP

                      【AWS Amplify ノウハウ】 5. List API は DynamoDB で, Search API は Elasticsearch で! | DevelopersIO
                    • もしかして App Runner 上 Next.js の SSR で直接 DynamoDB 呼べますか?

                      TL;DR - YES! はい、IAM Role を設定すればできます。Next.js と データソースの間に API を挟まなくてもよいです。便利ですね。ブログ記事をDynamoDBから取り出す想定で試しました。以下の手順でいけます。 記事を保管するDynamoDBを作成する(AWS CDK) DynamoDB へのアクセス権限をもった IAM ロールを作成する(AWS CDK) ブログ用 Next.js アプリの getServerSideProps で AWS SDK 経由での DynamoDB 操作を書く AWS App Runner(以下 App Runner)にて ② で作成した IAM を割り当てつつサービスを作成する(手作業) 経緯など 前に書いたこの記事で Next.js の App Runner へのデプロイを試したのですが、SSRの可能性を試したくなりました。サーバー

                        もしかして App Runner 上 Next.js の SSR で直接 DynamoDB 呼べますか?
                      • DynamoDBをこうやって理解しよう - Qiita

                        DynamnDBって、RDB長くやっている人ほど、なんか理解できない、話はわかるけど腑に落ちない存在だったりしませんか? 自分はこうやってDynamoを理解しました。正確にあっているかは自分でもわからないです。なかなか、説明を読んでも腑に落ちない人向けの記事なので、正確に理解している方は読む必要なしでしす。 さて、DynamoDBでググると、以下のようなイメージで書かれていることが多いと思います。 ・DBにはカラムを定義する ・その中の特殊なカラムとしてパーティションキーとソートキーなるものが存在する。 ・この二つを組み合わせてプライマリキーとする。パーティションキーだけでもプライマリーキーとして使用可能 ・通常のSQLは使えない ・プライマリーキーでレコードを特定する 通常のRDBを長くやっていると、まずこの言葉遣いで混乱するし、全然イメージが沸かない。個人的にはプライマリキーという言葉

                          DynamoDBをこうやって理解しよう - Qiita
                        • Download NoSQL Workbench for DynamoDB - Amazon DynamoDB

                          Follow these instructions to download NoSQL Workbench and DynamoDB local* for Amazon DynamoDB. To download NoSQL Workbench and DynamoDB local Download the appropriate version of NoSQL Workbench for your operating system.

                          • 押さえておくべきDynamoDB設計(ベストプラクティス) まとめ

                            最近サーバーレスWebアプリばかり開発しているhokです。 その際にDynamoDB設計もしたので備忘メモを残します。 RDBとはだいぶ考え方が異なりますが、その中で自分の中で落とし込んだ内容をまとめています。 AWSサービスは日進月歩で進化してます。 当ページに記載してある内容が変更されている場合があるので、最新は公式で確認願います。 DynamoDBとは 見出しへのリンク以下Amazon DynamoDB よくある質問から引用 DynamoDB は、あらゆる規模に適した高速で柔軟な非リレーショナルデータベースサービスです。 DynamoDB を使用すると、分散データベースの運用と AWS にスケーリングするための管理負荷を軽減できます。 ハードウェアのプロビジョニング、設定と構成、スループット容量のプランニング、レプリケーション、ソフトウェアのパッチ適用、クラスターのスケーリングなどに

                            • Kinesis と DynamoDB をイベントソースにする際の AWS Lambda の新しいスケーリング管理 | Amazon Web Services

                              Amazon Web Services ブログ Kinesis と DynamoDB をイベントソースにする際の AWS Lambda の新しいスケーリング管理 AWS Lambda は、Amazon Kinesis Data Streams と Amazon DynamoDB ストリームのイベントソースで利用可能な、新しいスケーリングパラメータを導入しました。Parallelization Factor は、各シャードにおける Lambda 関数呼び出しの同時実行数を増やす設定を可能にします。このパラメータは、デフォルトでは 1 です。これによって、処理されるレコードの順序を保証しながら、シャード数を過大にスケールすることなく、より高速なストリーム処理が可能になります。 一般的な最適化のシナリオには、高トラフィックと低トラフィックの2つがあります。たとえば、オンラインビジネスでは、季節的

                                Kinesis と DynamoDB をイベントソースにする際の AWS Lambda の新しいスケーリング管理 | Amazon Web Services
                              • DynamoDBの変更履歴をKinesis Firehose経由でS3に保存してAthenaで見る | DevelopersIO

                                DynamoDBのデータを更新したとき、DynamoDb Streams・Lambda・Kinesis Firehoseを経由してS3にファイルを格納し、Amazon Athenaで見る仕組みを作ってみました。 不具合の調査などをしているとき、「あのタイミングのDynamoDBテーブルのデータが分かれば助かるのに……」と思ったことは無いでしょうか? 私はあります。 Lambdaで参照したDynamoDBテーブルのログデータを見ても良いのですが、下記のように影響範囲を調査する際は有効ではありません。(ログを調べれば分かるけど大変) この値が原因なのは分かった。いつからこの値になっていた……? というわけで本記事では、DynamoDBテーブルの変更履歴をLambdaとKinesis Firehoseを経由してS3に格納し、Athenaで参照する仕組みを構築してみました。Partition Pr

                                  DynamoDBの変更履歴をKinesis Firehose経由でS3に保存してAthenaで見る | DevelopersIO
                                • Amazon DynamoDB now supports audit logging and monitoring using AWS CloudTrail | Amazon Web Services

                                  AWS Database Blog Amazon DynamoDB now supports audit logging and monitoring using AWS CloudTrail Amazon DynamoDB is a fully managed, multi-Region, multi-active database that delivers reliable performance at any scale. Because of the flexible DynamoDB data model, enterprise-ready features, and industry-leading service level agreement, customers are increasingly moving sensitive workloads to DynamoD

                                    Amazon DynamoDB now supports audit logging and monitoring using AWS CloudTrail | Amazon Web Services
                                  • Amazon DynamoDB へのリファクタリング | Amazon Web Services ブログ

                                    Amazon Web Services ブログ Amazon DynamoDB へのリファクタリング リレーショナルデータベースから NoSQL への移行を考えていますか? 以下の記事では、Amazon EC2 インスタンスから Amazon DynamoDB への SQL Server データの読み取り、変換、書き込みについて詳しく説明します。AWS Glue を使用して、DynamoDB で複数のテーブルのソースデータモデルを 2 つのターゲットテーブルに変換します。 AWS Glue の代わりに、AWS DMS や AWS Marketplace ツールなど、データモデル変換のためのその他のオプションがあります。この 1 回限りの移行では、複数のテーブルを 1 つに変換するために AWS Glue および Scala コードを選択しました。 概要 このデモでは、商用リレーショナルデー

                                      Amazon DynamoDB へのリファクタリング | Amazon Web Services ブログ
                                    • GitHub - aws/aws-sdk-pandas: pandas on AWS - Easy integration with Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer and S3 (Parquet, CSV, JSON and EXCEL)

                                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                        GitHub - aws/aws-sdk-pandas: pandas on AWS - Easy integration with Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer and S3 (Parquet, CSV, JSON and EXCEL)
                                      • PynamoDBで良い感じにTestableなモデルを定義して、DynamoDB Localを使ってテストする方法 - JX通信社エンジニアブログ

                                        TL; DR; PynamoDBを使ったテストでローカルで動かすDynamoDBを叩きたい場合に テーブルのキー定義やキャパシティ設定の管理はterraform/CDKなどに任せつつ、アプリケーションコードを汚さずにテストを実行したい そんなときは getattr でmetaclassを取り出して setattr でテスト用の設定値を注入してあげましょう サンプルコードはこちら github.com もうちょっと詳しく 背景 PythonでDynamoDBを使った開発していればPynamoDBはとても便利なライブラリです。非常に書きやすいAPIでDynamoDBを読み書きできますし、手軽にテーブル自体もPynamoDBで作成することも可能です。 *1 しかしPynamoDBでテーブルを作成・管理してしまうと if table.exists() みたいな条件を書いて毎回判断させたり、キャパシ

                                          PynamoDBで良い感じにTestableなモデルを定義して、DynamoDB Localを使ってテストする方法 - JX通信社エンジニアブログ
                                        • DynamoDB×Go連載#1 GoでDynamoDBでおなじみのguregu/dynamoを利用する | フューチャー技術ブログ

                                          はじめにこんにちは、村田です。Go言語でWebサーバを実装していた際にDynamoDBを扱うライブラリとしてGregさんの https://github.com/guregu/dynamo を使っていました。(2年ほど稼働していますが、特に問題も出ていません) 当時Go初心者だった私は「go dynamo」とすぐさまGoogle先生に問い合わせ、「guregu/dynamoがオススメ」とのエントリーを多数発見しました。オブジェクトの取り回しが隠蔽化されていてとにかく実装が簡単だと記事にも書いてありましたし、私自身も実際そう感じました。 すでにタイトルからお察しかと思いますが、本記事は連載第1回目です。時代の移ろいに合わせてDynamoDB×Go界隈の事情も刻一刻と変化しています。まずは私の利用していたSDK(guregu/dynamo)についてから本連載をスタートします。 SDK(gure

                                            DynamoDB×Go連載#1 GoでDynamoDBでおなじみのguregu/dynamoを利用する | フューチャー技術ブログ
                                          • Amazon DynamoDB、AWS Lambda、および Go を使用してエンタープライズアプリケーションを構築する | Amazon Web Services

                                            Amazon Web Services ブログ Amazon DynamoDB、AWS Lambda、および Go を使用してエンタープライズアプリケーションを構築する Amazon DynamoDB は、あらゆる規模で 1 桁のミリ秒のパフォーマンスを提供する、完全マネージド型サービスです。完全マネージド型で、舞台裏のマルチ AZ データレプリケーションを通じて高可用性を実現し、Amazon DynamoDB Accelerator (DAX) および複数のグローバルセカンダリインデックスを使用したネイティブライトスルーキャッシングをサポートします。開発者は、この投稿の焦点である Go を含む豊富なプログラミング言語のセットで AWS SDK を使用し、DynamoDB と対話できます。 この投稿では、CRUD を集中的に使用するアプリケーションに対して固有の使用例と、DynamoDB、

                                              Amazon DynamoDB、AWS Lambda、および Go を使用してエンタープライズアプリケーションを構築する | Amazon Web Services
                                            • Happy 10th Birthday, DynamoDB! 🎉🎂🎁 | Amazon Web Services

                                              AWS News Blog Happy 10th Birthday, DynamoDB! 🎉🎂🎁 On January 18th 2012, Jeff and Werner announced the general availability of Amazon DynamoDB, a fully managed flexible NoSQL database service for single-digit millisecond performance at any scale. During the last 10 years, hundreds of thousands of customers have adopted DynamoDB. It regularly reaches new peaks of performance and scalability. For e

                                                Happy 10th Birthday, DynamoDB! 🎉🎂🎁 | Amazon Web Services
                                              • DynamoDB を適切な料金で利用したい - Qiita

                                                私が現在関わっているシステムの DynamoDB では現在、予想される最大負荷に十分に耐えられるキャパシティを設定しておけばいいだろうという設定が横行しています。 もちろん、システムのアクティブユーザー数や毎日の負荷状況などがわかっていればそれでよいのでしょうが、このシステムは Twitter キャンペーンと合わせて利用されることが多く、負荷状況はキャンペーンの内容などによって結構まちまちなので少し読みにくいです。 また、毎日〇〇時に高負荷状態になるといった感じではなく、稼働直後に最大負荷を迎えて以降はそれに比べるとかなり低い負荷で安定稼働という状況がよくあります。安定稼働を始めたらキャパシティを下げるなどの対応はしていますが、どうにも札束で殴っているような状況です。 というわけで、一度 DynamoDB の料金体系を理解して安定性は損なわず、よりお得に利用できる方法を探ってみたいところ。

                                                  DynamoDB を適切な料金で利用したい - Qiita
                                                • Google スプレッドシートから手軽に DynamoDB テーブルの項目を追加する | DevelopersIO

                                                  こんにちは、筧(カケイ)です。 Google スプレッドシートを利用して手軽に DynamoDB テーブルの項目を追加したい・・・! このような場面に最近遭遇したのでやってみました。 やってみた 下図の構成で実装します。 以下の流れで作業します。 S3 -> DyanamoDB の仕組み展開 スプレッドシート -> S3 の仕組み展開 動作確認 1. S3 -> DyanamoDB の仕組み展開 下図赤枠の箇所を実装します。 以下を使って実装します。 Amazon DynamoDB への CSV 一括取り込みの実装 | AWS まず、GitHub リポジトリ をローカルに clone します。 $ git clone git@github.com:aws-samples/csv-to-dynamodb.git ファイル構成は以下の通り。 csv-to-dynamodb ├── CODE_O

                                                    Google スプレッドシートから手軽に DynamoDB テーブルの項目を追加する | DevelopersIO
                                                  • RDSとDynamoDBの違いとは?AWSのサーバーレスにおけるデータベースの上手な使い分け(後編) | ブログ | Serverless Operations

                                                    >_cd /blog/id_243 development technology#Amazon DynamoDB#Amazon RDSDate2020-10-29Time00:00:00 JST 前編の記事にてRDSとDynamoDBのデータベースとしての特徴の違いから、どのように選定を行えばよいのかを説明しました。 本記事では後編として、それ以外の観点での使い分けについて述べていきたいと思います。 サーバーレスの良さを活かすならDynamoDBサーバーレスの良さとして、サーバーなどのインフラメンテナンスをクラウドにアウトソーシングし、ユーザは開発に集中できる点があります。 DynamoDBでいうと、以下のような点です。 冗長化をユーザ側で行わなくて良い。データは自動で3箇所のデータセンターにコピーされる容量は無制限インスタンスのサイジングは不要VPC = ネットワーク設計を行う必要がない

                                                      RDSとDynamoDBの違いとは?AWSのサーバーレスにおけるデータベースの上手な使い分け(後編) | ブログ | Serverless Operations
                                                    • Building Scalable GraphQL APIs on AWS with CDK, TypeScript, AWS AppSync, Amazon DynamoDB, and AWS Lambda | Amazon Web Services

                                                      Front-End Web & Mobile Building Scalable GraphQL APIs on AWS with CDK, TypeScript, AWS AppSync, Amazon DynamoDB, and AWS Lambda October 16, 2023: This post has been updated to include the latest CDK AppSync Constructs. September 14, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. AWS AppSync is a managed serverless GraphQL service that simplifies appl

                                                        Building Scalable GraphQL APIs on AWS with CDK, TypeScript, AWS AppSync, Amazon DynamoDB, and AWS Lambda | Amazon Web Services
                                                      • 異なるAWSアカウントのDynamoDBにLambdaでアクセスする (CloudFormationで作成) | DevelopersIO

                                                        異なるAWSアカウントにあるDynamoDBテーブルに対して、Lambdaでアクセスする方法を試してみました。 おすすめの方 異なるAWSアカウントのリソースにLambdaでアクセスしたい CloudFormation、AWS SAMで上記の仕組みを構築したい アクセスする側のデプロイ(LambdaとIAMロール) まずは、DynamoDBテーブルにアクセスする側のLambdaとIAMロールをデプロイします。 SAM Init sam init \ --runtime python3.8 \ --name Cross-Access-Lambda-Sample \ --app-template hello-world \ --package-type Zip SAMテンプレート Lambda用のIAMロールを作成しています。この時点では、アクセスされる側のIAMロールは未作成ですが、名前は事

                                                          異なるAWSアカウントのDynamoDBにLambdaでアクセスする (CloudFormationで作成) | DevelopersIO
                                                        • DynamoDB StreamsとKinesis Data Firehoseを使ったサーバーレスリアルタイムETL - Qiita

                                                          何を書いた記事か 過去にDynamoDB Streams + Kinesis Data Firehose + Lambdaを用いたリアルタイムETLを検証した際のメモをこちらに転載します。 特にKinesis Data Firehoseの裏で動かすLambdaの実装に癖があったので、誰かの参考になれば幸いです。 前提 Webサービスなど展開していて、Database層にDynamoDBを採択している場合、そのデータを分析するための分析基盤構築手法として、Glueを用いたETLが一般的な選択肢になりうるのかなと思います。 最近DynamoDBのTableをS3にExportできる機能もGAになったので、フルダンプ+日時バッチのデータ分析としてはそのような手法も使えるかもしれません。 しかし、DynamoDB上にあるデータをなるべくリアルタイムに分析基盤に連携したい、最低限のETL処理も挟みた

                                                            DynamoDB StreamsとKinesis Data Firehoseを使ったサーバーレスリアルタイムETL - Qiita
                                                          • DynamoDB local のあれこれ - freee Developers Hub

                                                            こんにちは、会計フリーのエンジニアをやっている id:mihyaeru21 です。 この記事はfreee Developers Advent Calendar 2019の8日目のものです。 昨日は id:ymizushi によるfreee社宅管理でSVGを使ってシミュレータ描画を行った話でした。 React で SVG を操作するのは色々できそうで夢が広がりますね! 今日は DynamoDB local のあれこれについて書きます。 DynamoDB local とは DynamoDB local は AWS が公式で用意しているダウンロード可能な DynamoDB の実装です。 開発環境やテストで使用することが想定されています。 jar として配布されている他、 Docker image として Docker Hub でも配布されていて、以下のコマンドでお手軽に実行することができます。

                                                              DynamoDB local のあれこれ - freee Developers Hub
                                                            • DynamoDBの設計手法 – 伊達研究室(旧 下條研究室)

                                                              はじめに この記事の目的は、DynamoDBのテーブル設計の全工程を説明することです。 先日私はインターン先のReviewBankで業務の一環としてDynamoDBのテーブル設計を行ないました。DynamoDBのテーブル設計はRDBのテーブル設計に比べると手順が確立されていません。ネット上の記事は断片的なものが多く、設計の流れの全体を掴むのに時間がかかりました。そこで得た知見をまとめ、この記事を読むだけでDynamoDBのテーブル設計が行えるようにします。 想定する読者 RDBのモデル設計ができる DynamoDBの概念を理解している table, attribute, item Primary Key Partition Key Sort Key Global Secondary Index DB設計の流れ RDBのエンティティを定義する アクセスパターンを書き出し,クエリを明らかにする

                                                              • Amazon DynamoDB can now import Amazon S3 data into a new table | Amazon Web Services

                                                                AWS Database Blog Amazon DynamoDB can now import Amazon S3 data into a new table Today we’re launching new functionality that makes it easier for you to import data from Amazon Simple Storage Service (Amazon S3) into new DynamoDB tables. This is a fully managed feature that doesn’t require writing code or managing infrastructure. In this post, we introduce DynamoDB import from S3 and show you how

                                                                  Amazon DynamoDB can now import Amazon S3 data into a new table | Amazon Web Services
                                                                • AWS の舞台裏 – DynamoDB の UpdateTable の高速化 | Amazon Web Services

                                                                  Amazon Web Services ブログ AWS の舞台裏 – DynamoDB の UpdateTable の高速化 AWS ではイノベーションのペースについてよく語られます。そしてその結果はこのブログ、AWS 新着情報ページや、毎週開催される AWS on Air ストリームで共有しています。今日は、舞台裏で起こっているイノベーションといった、少し変わった種類のイノベーションについてお話したいと思います。 AWS のお客様は、それぞれさまざまなサービスを組み合わせて利用しており、それらのサービスを独自の方法で使っています。すべてのサービスが計測および監視され、サービスの設計、構築、実行、スケーリング、進展を担当するチームは、得られるすべてのメトリクスに常に注意を払っています。このメトリクスは、サービスがどのように使用されているか、負荷がかかった状態でどのように機能するかについての

                                                                    AWS の舞台裏 – DynamoDB の UpdateTable の高速化 | Amazon Web Services
                                                                  • New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | Amazon Web Services

                                                                    AWS News Blog New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required Hundreds of thousands of AWS customers have chosen Amazon DynamoDB for mission-critical workloads since its launch in 2012. DynamoDB is a nonrelational managed database that allows you to store a virtually infinite amount of data and retrieve it with single-digit-millisecond performance a

                                                                      New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | Amazon Web Services
                                                                    • SORACOM GPSマルチユニットのデータをTerraformでIoT RuleとDynamoDB作って受け取ってみた | DevelopersIO

                                                                      はじめに CX事業本部の佐藤智樹です。 今回は案件で初めてTerraformを使うことになったので軽く肩慣らしとして、IoTデバイスからのデータ受信する構成を作ってみました。 せっかくなので、最近買った「GPS マルチユニット SORACOM edition」からデータを飛ばして試してみます。 全体的には以下のような構成です。 現在はSORACOM HarvestやSORACOM Lagoonでデバイスデータの可視化は非常に簡単にできるので、すぐにデータを可視化したい場合はそちらの使用をおすすめします。 Terraformの設定 基本的に以下の書籍でCLIなどはセットアップしました。Terraformのバージョン管理には、tfenvを使っています。 項目名 バージョン コードの内容 Terraformのコードは以下になります。基本的にDynamoDBとIoT Rule、実行に必要なロールと

                                                                        SORACOM GPSマルチユニットのデータをTerraformでIoT RuleとDynamoDB作って受け取ってみた | DevelopersIO
                                                                      • Amazon DynamoDB用 NoSQL WorkbenchがGAになったので使ってみた | DevelopersIO

                                                                        こんにちは。サービスグループの武田です。 約半年ほど前にAmazon DynamoDB用 NoSQL Workbench(以下、Workbench)がプレビュー版として公開されました。先日このツールが一般公開(GA)となりましたので試してみました。 Amazon DynamoDB 用 NoSQL Workbench が一般公開されます。 NoSQL Workbenchとは DynamoDB用のクラスプラットフォームなデータベース開発ツールです。DynamoDBのテーブル設計や作成、クエリ実行だけでなくデータモデリングやデータ可視化、クエリ開発機能を提供します。 環境 次のような環境で検証しています。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.3 BuildVersion: 19D76 $ brew --version Hom

                                                                          Amazon DynamoDB用 NoSQL WorkbenchがGAになったので使ってみた | DevelopersIO
                                                                        • New – Convert Your Single-Region Amazon DynamoDB Tables to Global Tables | Amazon Web Services

                                                                          AWS News Blog New – Convert Your Single-Region Amazon DynamoDB Tables to Global Tables [This post has been updated on March 17th 2020. You can now update update existing global tables to the new replication model] Hundreds of thousands of AWS customers are using Amazon DynamoDB. In 2017, we launched DynamoDB global tables, a fully managed solution to deploy multi-region, multi-master DynamoDB tabl

                                                                            New – Convert Your Single-Region Amazon DynamoDB Tables to Global Tables | Amazon Web Services
                                                                          • 【DynamoDB Local】快適なDynamoDBのローカル開発環境を構築する

                                                                            DynamoDBをデータベースとして用いる開発を、完全にローカル環境のみで完結させることができるよう環境構築したので紹介します。 システムの開発フェーズにおいては、個人が好き勝手に作って壊せるデータベース環境が欲しくなることも多いかと思います。RDS等のRDBであれば、ローカルにデータベースを立てればそれで終わりですが、DynamoDBでも同様にローカルにデータベースを立てることが可能です。 この記事では、ただ単に「ローカルにDynamoDBを立てて終わり」ではなく、コマンド一発ですぐに開発が始められるような、快適な開発環境を構築することをゴールとします。 前提とする環境 Docker Composeが利用可能である、インターネットアクセス可能なWindows もしくは Linux環境 これから解説する環境構築の前提は、これだけです。MacOS環境でも動作確認こそしていませんが、使うのはD

                                                                              【DynamoDB Local】快適なDynamoDBのローカル開発環境を構築する
                                                                            • 【AWS DevDay Tokyo 2019 セッションレポート】40分で分かるDynamoDBでのApp開発 #awsdevday | DevelopersIO

                                                                              AWS DevDay Tokyo 2019のセッション、「40分で分かるDynamoDBでのApp開発」をレポートします。 セッション概要 Amazon DynamoDBはフルマネージドサービスで提供されるkey-value およびドキュメントデータベースです。世界中でもAmazonを始め多くのユーザーに利用されており、是非このセッションでDynamoDBを利用した開発の導入部分を学んで頂きたいと考えています。 本セッションではpythonで書かれたサンプルアプリを例として主要なデータ操作、よく比較されるRedisとのユースケースでの使い分けなどを解説します。 是非アプリケーション開発でDynamoDBを導入する手助けになれば幸いです。 スピーカー アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 成田 俊(@oranie)さん セッション内容 Introducti

                                                                                【AWS DevDay Tokyo 2019 セッションレポート】40分で分かるDynamoDBでのApp開発 #awsdevday | DevelopersIO
                                                                              • [アップデート] Amazon DynamoDBがリソースベースポリシーをサポートしました | DevelopersIO

                                                                                別アカウントからのアクセス許可を簡単に行いたい こんにちは、のんピ(@non____97)です。 皆さんはDynamoDBに対して別アカウントからのアクセス許可を簡単に行いたいなと思ったことはありますか? 私はあります。 従来、別アカウントから自アカウントのDynamoDBにアクセス許可をするためには、自アカウント内のIAMロールにAssume Roleさせてから操作をする必要がありました。手元でAWS CLIで操作する場合はプロファイルを指定するだけなので訳ないですが、Step FunctionsのステートマシンやLambda関数で別アカウントのDynamoDBを操作する際は、都度Assume Roleする必要があり非常に手間です。 Step Functionsでタスク毎にAssume Roleする方法は以下記事をご覧ください。 今回、アップデートによりAmazon DynamoDBでリ

                                                                                  [アップデート] Amazon DynamoDBがリソースベースポリシーをサポートしました | DevelopersIO
                                                                                • DynamoDBテーブルを少なくする設計方法 - Qiita

                                                                                  Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

                                                                                    DynamoDBテーブルを少なくする設計方法 - Qiita