RemixでAWSサーバレス構成を手軽に作成できるGrunge Stackを試してみた | DevelopersIO
はじめに こんにちは、CX事業本部MAD事業部の森茂です。 先日リリースされたRemix Stacks、Remixチームが公開しているAWSを利用したサーバレス構成のGrunge Stackテンプレートがどのような構成になっているのかを調べるために早速デプロイまでの流れを試してみました。 Grunge Stack Grunge StackはAWSを利用したサーバレス構成のアプリケーションテンプレートです。サーバレスフレームワークとしてはArchitectを利用しています。データベースにはDynamoDBを利用し、アプリケーションはCloudFormationを利用してLambdaへデプロイされAPI Gatewayを介して公開されます。また開発用にローカル環境のサンドボックス環境も用意されているのでAWS環境へデプロイせずに動作を確認することが可能です。（サンドボックス環境のDynamoD
VPC LambdaからVPCエンドポイント経由でDynamoDBにアクセスしてみた | DevelopersIO
サーバーレス開発部改め、CX事業本部の佐藤です。 概要 VPC LambdaからDynamoDBにアクセスするユースケースがあったため、実際にやってみました。 VPCにあるRDSなどにアクセスする際は、VPC Lambdaにする必要があります。VPC Lambdaにした場合はLambdaのインターネットアクセスが失われるため、VPC以外のAWSリソースにはアクセスできません（DynamoDBなど）。VPC Lambdaがインターネットにアクセスする際は、AWSの制約でLambdaをプライベートサブネットに配置し、パブリックサブネットにNAT ゲートウェイを配置する必要があります。 https://aws.amazon.com/jp/premiumsupport/knowledge-center/internet-access-lambda-function/ 以前は、VPC Lambdaか
DynamoDB Global Tableを試す #reinvent | DevelopersIO
コンニチハ、千葉です。 DynamoDB Global Tableが発表されました。 リージョン間でのマルチマスターデータベースとなります。マルチマスターはすごい。 【速報】DynamoDB Global Tablesが発表されました！ #reinvent さっそく使うときのポイントをまとめつつ、触ってみました。 一貫性と競合 マルチマスターということで、各リージョンのエンドポイントから書き込み読み込みが実行できます。そうなるとデータベースとして一貫性がどうなっているというところが気になりますね。 データは数秒以内にリージョン間で同期されますが、一貫性はどうなっているのでしょうか。 まず、リージョン内でについては、今までのDynamoDBと同じで読み取りの結果整合性または強い整合性を選択できます。リージョン間については、強い整合性をサポートしていないので結果整合性のみとなります。 次に競合
DynamoDBにSLAが設定されGlobal Tablesで99.999%の高可用性になりました | DevelopersIO
大栗です。 先程DynamoDBに対してSLAが設定されましたのでレポートします。 Announcement: Amazon DynamoDB Announces 99.999% SLA for Global Tables Amazon DynamoDB Service Level Agreement サービスレベルアグリーメントの設定 DynamoDBにはSLAが設定されていませんでしたが、今回DynamoDB Global TablesとDynamoDBの月間稼働率のSLAが設定されました。それぞれGlobal Table SLAとStandard SLAというSLAが設定されています。 Global Table SLA Global Table SLAは単一のAWSリージョンので可用性に問題が発生した場合に(クライアント側で)フェイルオーバーを試みる事を前提にSLAが設定されています
AWS Backup によるバックアップ取得の全体像をやっぱり絵に描いて理解してみた | DevelopersIO
各サービスを AWS Backup によるバックアップ対象とするかどうかを、オプトインの画面から選択することができます。 2020 年 5 月のアップデートにより有効になった機能です。 AWS Backup ではバックアップ対象のリソースをタグベースで指定することが基本となりますので、複数のサービスにまたがって同一のタグが付与されている場合には、このオプトインを活用して取得対象をコントロールすることが可能になります。 また、新規で AWS Backup の対象となったサービスについては、明示的に有効化しない限り無効のままとなっている可能性があります。ご注意ください。 バックアップボールト バックアップボールトは「バックアップを整理するためのコンテナ」であると説明されています。EC2 のバックアップである AMI 、RDS のバックアップであるスナップショットなどをまとめて管理するための器の
AWS CDKでAppSyncのスタックを作ってみた | DevelopersIO
AWS CDKをさわれば触るほど、素晴らしさに気づけます。 今回は、AWS CDKを使ってAppSyncとDynamoDBを使用したサービスを作ってみたいと思います。 本記事では、TypeScriptの使用方法や、CDKの基本的な使い方は紹介しません。 もくもくと、CDKでAppSyncを使うまでにしたことを記載します。 また本ブログで使用した、AWS CDKのバージョンは1.3.0です。 プロジェクトの初期設定 AWS CDKのスタックを作成するための初期設定を行ないます。 個人の趣向ですが、cdk initをせずにプロジェクトの設定を行います。 $ mkdir cdk-appsync-101 && cd $_ $ git init $ npm init -y $ npm i @aws-cdk/{aws-appsync,aws-dynamodb,aws-iam,core} $ npm i
Amazon DynamoDB のデータを API Gateway と Angular( D3.js ) でサーバーレス可視化する | DevelopersIO
とある投票システムを仮想したデータです。特定の投票者IDに関するデータを、日別で見たいとしましょう。 export interface Vote { voteDate: string; value: number; } export const Votes: Vote[] = [ {voteDate: '2017-11-10T12:00:12+09:00', value: 345.11 }, {voteDate: '2017-11-11T22:00:12+09:00', value: 102.34 }, {voteDate: '2017-11-12T09:12:45+09:00', value: 345.11 }, {voteDate: '2017-11-13T09:12:45+09:00', value: 312.12 }, {voteDate: '2017-11-14T09:12:45
DynamoDBの料金を最適化しよう【初級編】 | DevelopersIO
こんにちは、臼田です。 DynamoDBの料金体系って難しくてよくわからないと思っている方も多いかもしれません。私もその一人でした。 今回はどのようにすればDynamoDBを安く利用できるのかについて、まとめてみたいと思います。 本ブログのコンセプト DynaomDBをこれから利用する、もしくはとりあえず利用しているが熟知はしていない方向け 利用料金の最適化に必要な範囲の説明を行う キャパシティーユニット等のわかりにくい用語についても少し解説を入れる RDSとの比較などは行わない 大規模であったり、細かいチューニングを伴うような部分は割愛 なお、上級者向けの内容は含まれていませんのでご了承下さい。 RDSとの比較やDynamoDBの詳細な使い方などは、弊社都元が執筆しているコンセプトから学ぶAmazon DynamoDB – シリーズ –がむちゃくちゃ参考になるので、こちらも御覧ください。
Lambda(Python3.6)でDynamoDBに登録された項目が日付型であるかチェックしてみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 DynamoDBで提供されている属性の型は大きく分けて スカラー型、ドキュメント型、セット型となっています。 DynamoDBの命名ルールおよびデータ型 そのため、下記画像のように日付と時刻を登録するときは文字列データ型(String型)を使用するのがほとんどだと思います。 ただ、こちらが想定するフォーマット以外でも登録することができてしまい、 登録された時刻をみて、ある処理を実行するときなど 処理が失敗してしまう可能性があります。 今回はLambdaを使って登録されている項目のフォーマットが正しいかチェックしてみたいと思います。 DynamoDBのテーブル作成 今回はCloudFormationを使ってDynamoDBのテーブルを作成します。 テンプレートファイルを作成します。 今回作成するテーブルはプライマリーキー「Date」、ソートキー「Time
コンセプトから学ぶAmazon DynamoDB【GSI篇】 | DevelopersIO
よく訓練されたアップル信者、都元です。今回はグローバル・セカンダリ・インデックス（GSI）にフォーカスします。LSIを忘れないうちにGSIいきますよっ。 ローカル・セカンダリ・インデックス（LSI）というのは、ハッシュキーattributeが共通で別のレンジキーattributeを持つ、複合キーテーブルに対するインデックスでした。 グローバル・セカンダリ・インデックス（GSI）とは 例えば、Amazon DynamoDB Developer Guide - サンプルテーブルとデータにあるProductCatalogテーブルは、Idがハッシュキーとなったハッシュキーテーブルです。つまりこのテーブルは、Idを条件としたquery（問い合わせ）しかできません。ハッシュキーテーブルであるが故に、LSIも定義できません。 アプリケーション要件「ProductCategoryで絞り込んだ後、Title
LambdaとSQSによる非同期分散処理 | DevelopersIO
はじめに AWS Lambdaで処理時間が掛かることが想定される場合、どのような対応策があるでしょうか？Lambdaを諦める？(これも１つの選択肢だと思います)、一回のデータ処理量を減らして処理時間を短くする、など色々な方法が考えつくと思います。 今回は１つの対応策として、処理時間が掛かる処理を複数に分割して別Lambda関数として動かす事を考えてみました。処理を分割してQueueに登録し、Queue毎に別Lambda関数を起動するサンプルを作成してみたので、それを中心に書きたいと思います。尚、実装言語はPythonとなります。 処理概要 今回の処理概要を図にすると以下のようになります。 Pythonにより実装したLambda関数、SQS、DynamoDBを組み合わせました。一番左の「main.py」がタスクをQueueに分割してSQSに登録します。定期的に動いている「consumer.p
DQLを使ってDynamoDBをSQL操作する | DevelopersIO
AWS には NoSQL データベース DynamoDBが存在します。 標準では ウェブ管理画面 AWS CLI SDK を使ったプログラム から操作することもでるものの、地味に面倒です。 今回は DQL を使ってシェルインターフェースから DynamoDB を SQL 操作する方法を紹介します。 DQL とは? DQL は "DynamoDB Query Language" の略で DynamoDB 向けの SQL 風インターフェースです。 DynamoDB テーブルの作成・更新・削除からレコードの追加・参照・更新・削除を SQL 風に操作できます。 サクッと DynamoDB の中を覗く場合には、今回紹介するようなツールを使うのがお手軽ではないかと思います。 インストール DQL は Python で書かれているため pip でインストールします。 $ pip install -U d
コンセプトから学ぶAmazon DynamoDB【複合キーテーブル篇】 | DevelopersIO
よく訓練されたアップル信者、都元です。DynamoDB楽しいです。みんなもっと使えばいいのにと思って最近のエントリーを書いています。今回は、前回名前だけ触れた「複合キーテーブル」について。DynamoDBについて全くご存知無い方は、まずは下記エントリーを読んで頂ければと思います。 Amazon RDSとの比較で学ぶDynamoDB コンセプトから学ぶAmazon DynamoDB【ハッシュキーテーブル篇】 今回のサンプルデータ フォーラム・スレッド・返信投稿という3要素で構成した掲示板のデータベースとして、それぞれForum, Thread, Reply というDynamoDBのtableがあり、下記のようなitemがそれぞれのtableに入っているようなイメージをしてみてください。 // Forum { "Name": "DynamoDB", "Category": "Amazon We
[Ruby on Rails]Dynamoidを使ってAmazon DynamoDBと接続する ｜ Developers.IO
Dynamoidとは Veraticus/Dynamoid DynamoidはRailsの中でActiveRecordのようにDynamoDBと連携できるORM(Object-Relational Mapper)ODM(Object Document Mapper)です（追記: 公式にはORMと書かれているため、本記事もORMに訂正いたします。）もともとRubyのaws-sdkにはAWS::Record::HashModelというORMがあり、弊社ブログでも紹介されていますが、aws-sdkのv2では削除されてしまった(?)ようなので、代わりに見つけたDynamoidというgemを試してみました。（ただ、後で分かった事ですが、Dynamoidもaws-sdkのv1に依存していました。） The Ruby Toolboxを見る限りでは、 現時点で他に有力なDynamoDBのORMは無さそうで
![[Ruby on Rails]Dynamoidを使ってAmazon DynamoDBと接続する ｜ Developers.IO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c4ba9673af464883e264d1d320af2d2947fae03d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F11%2Frails.jpg)
【新機能】Amazon DynamoDB Triggersを使ってDynamoDB StreamsとAWS Lambdaを連携する | DevelopersIO
【新機能】Amazon DynamoDB Triggersを使ってDynamoDB StreamsとAWS Lambdaを連携する こんにちは、せーのです。今日は個人的にも待ちに待ったアップデートが入ってきました。そう、DynamoDB Streams！！！ この機能を使うとデータの入出力がそのままストリームとして後方に流れていき、トリガーとしてEC2やLambdaと連携することができるのです。 もうポーリングとかそういう煩わしい作業は入りません。値が登録されたことをDB自らが教えてくれるのです。すごい！かっこいい！！ 、、、多少取り乱しました。では中身を見ていきましょう。 DynamoDB Streamsとは 今回のアップデートでDynamoDB Streamsを有効にするとDynamoDB内でのアイテムの変化（登録、更新、削除）が24時間ストリームとして時間順に流されます。このストリー
コンセプトから学ぶAmazon DynamoDB【ハッシュキーテーブル篇】 | DevelopersIO
よく訓練されたアップル信者、都元です。最近DynamoDBづいております。DynamoDBについて全くご存知無い方は、まずは下記エントリーを読んで頂ければと思います。 Amazon RDSとの比較で学ぶDynamoDB 要するに、即時一貫性・操作の原子性・検索条件の自由度を犠牲にして、可用性と拡張性を手に入れたデータベースがDynamoDBであります。では具体的に、データの読み書きはどのように行うのでしょうか。 DynamoDBにおけるコンセプト DynamoDBには主に「table」「item（項目）」「attribute（属性）」という3つの概念が現れます。それに従属する概念として「キー」「インデックス」が出てきます。まずはこの辺りを整理していきましょう。 tableというのはみなさん分かりやすいでしょう。概ねRDBで言うところのテーブルに相当し、itemの集合体です。itemについて
AWS Lambdaを利用したAutoScaling DynamoDB | DevelopersIO
はじめに Amazon DynamoDBは低レイテンシで安定したスループットもつNoSQLサービスです。コストが低く使いやすいので弊社でも様々な案件で利用しています。 DynamoDBではあらかじめテーブルごとに読み込み/書き込みのスループットを指定することができます。 例えば、参照が多いサービスで利用する場合は読み込み：1000回/秒、書き込み：100回/秒のプロビジョンドスループットを設定するという具合です。 プロビジョンドスループットを超えた操作が発生した場合、バーストキャパシティ(バースト用に貯められている予備キャパシティ)が残っていればそれが利用されますが、バーストキャパシティを使い切っている場合、操作に失敗します。 なので、ある程度余裕を持ったプロビジョンドスループットの設定が必要です。 とはいってもスループットを事前に予測するのは難しいため、予測を超えたスループットが発生した
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
