Amazon DynamoDB の論文を読んでいく - Qiita
概要 AWS で人気のサービス DynamoDB についての論文が公表され巷で噂になっていたと思う。 今回は、その論文を読み込んでいき、ざっくりまとめていくという記事になります。 完全趣味な記事なので、興味ある人がいれば幸いです笑 Abstract まず論文のタイトルですが、「Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service」と題したものとなっています。 Amazon DynamoDB は、NoSQL とよばれる部類のデータベースサービスです。 一貫した耐久性、可用性、パフォーマンスを提供してくれるマネージドなサービスなのが特徴ですね。 冒頭、2021年に66時間にわたる「Amazon Prime Day」中にピーク時8920万リクエスト/秒をさばいてい
AWS認定Big Data勉強記 - 7: Amazon DynamoDB - Qiita
こんにちは、えいりんぐーです。 今回はAmazon DynamoDBについてまとめます。 Amazon DynamoDBとは DynamoDB は、あらゆる規模に適した高速で柔軟な非リレーショナルデータベースサービスです。DynamoDB を使用すると、分散データベースの運用と AWS にスケーリングするための管理負荷を軽減できます。ハードウェアのプロビジョニング、設定と構成、スループット容量のプランニング、レプリケーション、ソフトウェアのパッチ適用、クラスターのスケーリングなどについて心配する必要はありません。 参考資料 基本的に以下の資料を参考にしています。 Black Belt資料 Amazon DynamoDB 2017/08/09 Amazon DynamoDB Advanced Design Pattern 2018/12/25 YouTube 動画 公式ドキュメント 開発者ガ
DynamoDBを使いやすくしたJavascript(Typescript)のライブラリを作成したので紹介します - Qiita
でインストールします。 特徴 RailsのActiveRecordの使用感に合わせた形で作成しました。ActiveRecordと大体同じ感覚で使え、ActiveRecordの機能をできるだけ再現できるように作りました。 なぜ作った? 公式のaws-sdkがすごく使いにくい!! aws-sdk を使ってDynamoDBを操作する開発に限界を感じ、使いやすい ORM も存在しなかったため作成しました。(共通の悩みを持っている人も多くいるようです(参考を参照)) 機能の追加希望などの意見がありましたら教えてください。プルリクもお待ちしています。 参考 Node.js で DynamoDB を操作するためのチートシート[DynamoDB.DocumentClient][AWS] DynamoDB を使う ローカル環境での開発環境の構築 プロジェクト(NodeDynamoDBORM)の中ではDyna
AWS Backupを使い始める前に覚えておきたいこと - Qiita
AWS Backup is 何 AWS上のバックアップを一元的に管理できるAWS Backupが利用可能になりました。 AWS Backup – Automate and Centrally Manage Your Backups https://aws.amazon.com/jp/blogs/aws/aws-backup-automate-and-centrally-manage-your-backups/ ※以降は2019/1/17 時点の情報です。 2019/6/27 に東京リージョンで利用可能になったため情報を更新しました 2020/1/14 時点の情報に更新しました 2020/6/11 Aurora に対応したため追記しました バックアップ取得可能なリソース 2020/11/11時点 EFSファイルシステム DynamoDBテーブル EC2インスタンス(EBS-backedのみ)
個人開発・スタートアップで採用すべき最強のアーキテクチャを考えた - Qiita
結論 「アジリティ」「コスト最適化」「スモールな構成」「開発スピード」という観点でWebアプリケーションのアーキテクチャを考えてみました。 ServerlessFrameworkを使い倒す フロントエンドはS3 hosting + CloudFrontで。SSRもLambda@Edgeでできます データベースはRDSは使わずにDynamoDBで APIは基本的にGraphQL。必要に応じてRESTも簡単に追加できるよ。 補足(2022/04/12) 最近個人開発しているこちらのWebサービスはこのアーキテクチャに沿って作られています。 このアーキテクチャでどんなものができるのよ、という視点で見ていただくと面白いかもしれません。 ↓ 背景 アーキテクチャに絶対の正解はない アーキテクチャには絶対の正解はありません。 なぜなら、プロダクトやフェーズによって求められる要件が異なり、それに適したア
DynamoDBからデータを取得 - Qiita
こんな感じの、毎日名前が変えられる謎のUserNameテーブルがあるとします。 パーティションキーとソートキー IDとDate（データ登録日）によってユニークが決まるようなテーブルの場合、 IDをパーティションキー、Dateをソートキーと設定するといいようです。 http://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/GuidelinesForTables.html GetItem GetItemを使用すると、ユニークキーを指定してデータが１つ取得できます。 http://docs.aws.amazon.com/sdk-for-go/api/service/dynamodb/#DynamoDB.GetItem 以下の例では、dynamodbから取得後、User構造体に入れたりJsonにしたりして遊んでます。
DynamoDB で、条件付き更新 と トランザクション を組み合わせて、UNIQUE 制約を実現する方法 - Qiita
DynamoDB で、条件付き更新 と トランザクション を組み合わせて、UNIQUE 制約を実現する方法AWSDynamoDB はじめに 現状、DynamoDB では、 RDB で言うところのUNIQUE制約がありません。つまり「UserテーブルでEmailを一意になるように制約をかける」といったことができません。 正確に言うと、ハッシュキー属性にはUNIQUE制約があります。 この記事では、ハッシュキーにはUNIQUE制約があることを利用しつつ、条件付き更新 と トランザクション を組み合わせて、任意の属性を対象とするUNIQUE制約を実現する方法を紹介しています。 以下のようなDynamoDBの知識を前提としています。 項目 と 属性 がなにを指しているのか理解している hash-key(とrange-key) を理解している 基本的な CRUD 関連の操作方法を理解している 条件付
SAM Localを利用してLocalで動かしているAWS Lambda からdynamodb-localにアクセスする方法 - Qiita
SAM Localを利用してLocalで動かしているAWS Lambda からdynamodb-localにアクセスする方法AWSTypeScriptDockerDynamoDB この記事に書かれていること SAM CLIの環境構築方法 SAM CLIを使ってLocalでLambdaを起動する方法 SAM CLIを使ってLocalで起動しているLambdaから、Localで用意したDynamoDB containerにアクセスする方法 これらの処理を僕が趣味で作っているAWS Lambdaを例に説明します。 この記事に書かれていないこと SAM CLIとは何か？ ( そのあたりの説明は公式ドキュメントに譲らせていただきます！ ) Lambdaを利用する際のwebpackの設定 利用環境 nodejs8.10 TypeScript 3.4.5 SAM CLI 0.15.0 python 3.
DynamoDB StreamをトリガーにしてLambdaを実行する - Qiita
DynamoDB Streamとは DynamoDB Streamは、DynamoDBに対する項目の追加、変更、削除をイベントとして検出できる機能です。DynamoDB Streamを使うことで、項目が追加・変更された時にプッシュ通知を飛ばしたりといった実装が可能になります。今回は、そのイベントをLambdaで受け取ってみたいと思います。 参考：DynamoDB ストリーム を使用したテーブルアクティビティのキャプチャ DynamoDB側でStreamを有効化 先んず、DynamoDBの概要のタブにある「ストリームの管理」から、Streamを有効化します。新旧イメージを選択すると、項目の変更時にLambdaが項目のBefore&Afterの両方を受け取ることができます。 DynamoDB Streamを受け取るためにLambdaに必要な権限 LambdaがDynamoDB Streamを受
Go言語でDynamoDB接続を試みたときの備忘録 - Qiita
前提 最近、Go言語を触り始めた。 GoからDynamoDBに接続するにあたって、 aws-sdk-go/aws/service/dynamodb を使おうとし、ドキュメントを読んでたら結構難しそうだったので、 guregu/dynamo を使うことにした。 また、DynamoDBも触ったことがなかった。 ゴールは、GoでDynamoDBに読み書きすること！ DynamoDBの設定 まず、AWSコンソール画面からDynamoDBのテーブルを作ります。 上記の画面で、「テーブル名」を Test とします。 「プライマリーキー」を user_id とします。型は「数値」にします。 他のattributeにかんしては、時間に関する値を想定してますが、実際にGoからItemをPUTするときに足されるので、定義する必要はありません。（そもそも登録もできない。） （キャメルケースがいいのか、パスカルケ
DynamoDBとElasticsearchをエンプラで本気で使ってみた2018年を非機能面で振り返る - Qiita
ごあいさつ 2018年はDynamoDB・Elasticsearchと共に歩み続けた1年だったので、年の締めくくりに振り返りと反省をしてみようかなと。主に非機能面での振り返りになります。 フューチャー Advent Calendar 2018の16日目の投稿です！（すいませんだいぶ遅くなってしまいました..orz） はじめに エンタープライズで利用するデータストアサービスなるものを作っていたのですが、そのサービスにてDynamoDBとElasticsearch（正確にはAmazon Elasticsearch Service）を採用していました。いままでの検討経緯だったり概要構成については下記の資料も合わせて見ていただけると幸いです。 メディアコンテンツを支えるデータストアサービスをAWSで メディアコンテンツ向け記事検索DBとして使うElasticsearch 本投稿は上記の後
Go+Lambdaで最速サーバレスチュートリアル - Qiita
AWSでサーバレスなAPIの開発 AWS Lambdaの最大実行可能時間が5分から15分に拡大され、Lambdaを使ったサーバレスな業務ロジックも今後さらに増えていくことでしょう。 今回はAPI Gatewayと組み合わせてエンドポイントを作成し、DynamoDBでデータ管理を行うことで、コストを最小限に抑えたサーバレスAPIをAWS上に構築していきます。 さらにSAM（Serverless Application Model）を利用して、API GatewayとLambdaのデプロイまでをすべてコードで管理していくことを目指します。 シンプルなAPIを高速に開発・管理したいという時の手順にしていただければ幸いです。 今回作成するAPI一覧 リクエストパラメータの情報を返却するシンプルなAPI(hello-world) リクエストボディの情報をDynamoDBに登録するAPI(score-
AWS Lambda & DynamoDBのベストプラクティスを求めて - Qiita
こんにちはsekitakaです。 serverlessな環境での開発も随分慣れてきましたが、コードの再利用性についてどうしようか悩んでいるので考えたこと&暫定結論を公開します。 ベストプラクティスを模索中なのでコメントでの議論も大歓迎です。 前提条件 共通するDynamoDBのテーブル(例:User)を参照する3つのプロジェクトがある。 プロジェクトP1 プロジェクトP2 プロジェクトJ1 以下のような状況になっている。 プロジェクトP1には既にUserデータのデータを取得する関数がある プロジェクトP1,P2はPythonで実装されており、プロジェクトJ1はJavaScriptで実装されている。 プロジェクトは全てLambda関数郡としてデプロイされる。 お題 Userテーブルからのデータ取得を各プロジェクトに組み込むにはどんな方法がよいか考える 案 案1 - 車輪の再発明を恐れない 各
DynamoDB Streamのデータをsocket.ioを使ってブラウザに流す - Qiita
やること TwitterのストリームデータをKinesisを経由してDynamoDBに保存します。 DynamoDB Streamにデータを流し、ブラウザでストリームデータを可視化する 構成図 Twitter Stream → Kinesis → DynamoDB AWS Lambda Reference Architecture: Real-time Stream Processing awslabsのアカウントにそのままやりたいことがありました。動かすとKinesisにデータを流して、キャプチャの通りDynamoDBにデータを保存してくれます。 DynamoDB → DynamoDB Stream → Lambda → SNS http Notification DynamoDB Streamの有効化 キャプチャの箇所からDynamoDB Streamを有効化します トリガーを有効化し
[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita
はじめに 最近サーバレスアーキテクチャに興味を持っています。以下2エントリーはGoogle Apps ScriptでJava Scriptを使った時の記事ですが、今回はAWS上のLambdaを使って、サーバーレスでPythonコードを実行させることをやっていきたいと思います。記事の内容は、Pythonほぼ初めまして&&AWSほぼ初めましての人が、LambdaとDynamoDBでいろいろできるようになるまでの記録を書いていきます。 また最初AWS分かんなさすぎて最初は絶望していたし、Lambdaはエラー出まくって初見殺しだし、Python興味はあるけど使ったこと少なめと、かなり初心者目線で記事を書いていきたいと思ってます。写真多め、初心者がわかる程度の内容を、ひとつずつ書いていく感じですので、PythonistとAWS上級者の方は新しいことはないかと思いますが、どうぞよろしくお願いします。
![[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f8ed2a0f7eabbe01aefae28e920b64d957e53f61/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJTIwQVdTJTIwJTVEJTIwJUU1JTg4JTlEJUUzJTgyJTgxJUUzJTgxJUE2TGFtYmRhLVB5dGhvbiVFMyU4MSVBOER5bmFtb0RCJUUzJTgxJUFCJUU4JUE3JUE2JUUzJTgyJThCJUU0JUJBJUJBJUUzJTgxJUFCJUU1JThGJTgyJUU4JTgwJTgzJUUzJTgxJUFCJUUzJTgxJUFBJUUzJTgyJThCJUUzJTgxJThCJUUzJTgyJTgyJUUzJTgxJUFBJUU4JUE5JUIxJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz01OGMwNjg2NzE4NTA5M2U2Nzc4Nzc0MzQxOTgzZjBkMg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5a2hpcmFvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xNGJiZDgzOTg5Yjg3MGYwMDE1MDhhZTFlN2QxOTU5NA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Da1146732dec048732bec38e9517ece31)
AWS+Serverless+DynamoDB+APIGateway+Lambdaでアプリ用サーバーAPIを簡単？に作成する - Qiita
.... provider: name: aws runtime: nodejs4.3 iamRoleStatements: # ロールを新たに追加します - Effect: Allow Action: - dynamodb:DescribeTable - dynamodb:Query - dynamodb:Scan - dynamodb:GetItem - dynamodb:PutItem - dynamodb:UpdateItem - dynamodb:DeleteItem Resource: "arn:aws:dynamodb:us-east-1:*:table/dev-test-*" #us-east-1リージョンの dev-test-なんたらってテーブル全部に権限あたえますよって感じ functions: hello: handler: handler.hello userCre
ScrapyCloud + DynamoDBでサーバーレス・スクレイピング - Qiita
はじめに スクレイピングの本を読んで何かしたいなーと思ったので、その成果とやったことをまとめました。 主にはScrapyCloudの設定を書いています。 コード https://github.com/mishan88/trpgLetter やりたかったこと 某アナログゲームの"公式"の更新情報が知りたい！（Twitterとかはあるけど、シート類は公式ページにしかないので） RSSすらないサイトも多いのでスクレイピングしよう 最近流行りのサーバーレスで動かしたい インスタンスを24時間動かすのはコストがかかるので 全体概要 クローリング・スクレイピング ： Scrapy + Scrapy Cloud DB : DynamoDB TODO: DynamoDBの更新情報をLambdaで受け取り、どこかに投稿 Oauthの認証周りが理解できていないので時間がかかりそう 手順 Scrapyをローカル
【express4.x】セッション情報をDynamoDBに保存する - Qiita
はじめに サーバ一台で稼動するアプリでしたらサーバー内でセッション情報を持たせとけばいいですが、 サーバ複数台に対してELBでリクエストを振り分けるとかなるとそういうわけにもいかなくなります。 セッション情報のためにDBサーバとかRDSとかは仰々しいし、ファイルにしてS3に置くというのも微妙な気がしてたのですが、DynamoDBを使うモジュールがあったので使ってみました。 パッケージインストール 使うのは express-session connect-dynamodb の二つですので、 npm install --save express-session connect-dynamodb でさくっとインストール 余談 express-sessionはセッション情報の保存先に応じて必要なモジュールを追加でインストールするという形式をとっていて、 対応できる範囲はかなり広いです。 app.j
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【AWS】それぞれのDBの特徴を簡単にまとめました(備忘録) - Qiita
Go言語+DynamoDBでREST API実装！ - Qiita