Introducing new features for the aws-sdk-rails gem | Amazon Web Services
AWS Developer Tools Blog Introducing new features for the aws-sdk-rails gem The Ruby SDK team is happy to announce that we’ve added new features and consolidated existing gems into the aws-sdk-rails gem to make developing Rails applications using AWS easier than ever. Features supported Amazon Simple Queue Service (SQS) queue adapter for ActiveJob (new) ActiveSupport::Notification instrumentation
論文DynamoDB 2022に関するいくつかのメモ
PingCAPはエンタープライズ向けのソフトウェアサービスプロバイダーとして2015年に設立され、オープンソースでクラウドネイティブなワンストップのデータベースソリューションを提供することにコミットしています。PingCAPの代表的なプロジェクトであるTiDBは、オープンソースの分散型ハイブリッド・トランザクション/分析処理（HTAP）データベースで、水平方向の拡張性、強力な一貫性、MySQLとの互換性を備えた高い可用性を特徴としています。 ※このブログは2022年8月12日に公開された英語ブログ「Some Notes on the DynamoDB 2022 Paper」の拙訳です。 著者: Ed Huang (PingCAP共同創設者兼CTO) 編集者: Fendy Feng, Tom Dewan DynamoDBが論文を発表してから長い時間が経ちました。数日前、私はその新しく出版され
手元にある LINE ボット環境のソースファイルが 1 ファイルにも関わらず 350 行超えたので、最近勉強したドメイン駆動設計を実践も兼ねてリファクタリングしてみました。 こんにちは、高崎＠アノテーションです。 はじめに 過去の拙記事にも何度か登場している自身の LINE ボットの環境ですが、cdk のスタック定義が約 100 行、Lambda のソースが約 370 行と注ぎ足し注ぎ足しでだんだんと大きくなってきました。 一方、業務で使用している環境はドメイン駆動モデルを元に設計・構築を行っているものが多いため、これらの環境やドメイン駆動設計を学んだことを実践すべく、この LINE ボット環境をリファクタリングしてみました。 この記事の対象 筆者と同じく「ドメイン駆動設計を始めたばかりの方」向けと考えております。 今回の内容は筆者個人が参考文献を元に記載した記事で、ドメイン駆動設計の正確
DynamoDB Stream を利用してDynamoDBとElasticsearchのデータ連携をやってみた | DevelopersIO
こんにちは！コンサルティング部のキムです。 以前から外国で仕事をしたいなーと思ってましたが、言語が違うことの難しさを感じてます。もっと頑張っていきたいと思います！:) ここ数年、DynamoDBに興味があったのですが、DynamoDB Streamは全く触ったことがありませんでした。AppSyncでよく使われるパターンでもあるので、良い機会だと思ってDynamoDB Stream → ElasticSearch のデータ連携の構成をやってみました。 ElasticsearchのIndexingは1秒ほど掛かるためリアルタイムで連携されるのではありませんが、普通のユーズケースには大丈夫と思います。DynamoDBがメインDBになった場合でも、検索機能の限界の為、GSIやLSI等で頑張らなくて済む良いパターンだと思います。 それでは、始めます！ 目次 DynamoDB Streamとは Dyn
はじめに こんにちは。計測プラットフォーム開発本部SREブロックの西郷です。普段はZOZOSUITやZOZOMAT、ZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。先日私達のチームでは、シングルクラスタ・マルチテナントを前提として構築したEKSクラスタにZOZOMATシステムを移行しました。本記事では移行ステップや作業時に工夫した点について紹介したいと思います。 目次 はじめに 目次 移行の概要とそのアプローチ 前提 要件 移行方針 各移行ステップとその詳細 STEP1:移行先CFnスタックへのAWSリソース作成、インポート STEP2:移行先へのデータマイグレーション S3 注意点 RDS 注意点 STEP3:移行先のクラスタにkubernetesリソースを追加 STEP4:EKSクラスタの切り替え external-dnsのdomain-filterをマル
【新機能】Amazon DynamoDB Table を S3 に Export して Amazon Athena でクエリを実行する | DevelopersIO
テーブルのデータを S3 へエクスポート DynamoDB にエキサイティングな機能が追加されました。Data Export 機能です。この新機能を使えば、No Code で DynamoDB Table のデータを S3 に出力できます。 New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | AWS News Blog ユースケースは？ そもそも DynamoDB は NoSQL データベースです。大量のデータを保存するワークロードに向いている一方、集計、走査、検索については効率の面で限界があります。では「DynamoDBに保存されたデータを集計して分析したい」という要件にどう応えるかというと、分析したいデータはとりあえずS3に入れておいてETL
DynamoDBには以下の単語が登場します。 パーティションキー ソートキー プライマリキー ローカルセカンダリインデックス グローバルセカンダリインデックス これらのキー・インデックスについて改めて整理してみました。 まず「パーティション」「データの読み書きを行うAPIの種類」について整理します。その後、キーの種類について整理します。 パーティション DynamoDBのデータは複数のパーティションに分散して保存されます。このときデータがどのパーティションに保存されるかは パーティションキー を元に決定されます。 また ソートキー が設定されている場合、データはパーティション内でソートキーを元に並べ替えられて物理的に近くに配置されます。 例として、AnimalType（パーティションキー）とName（ソートキー）で構成されるPetsテーブルのデータは以下のように分散して保存されます。 （図
Migration Complete – Amazon’s Consumer Business Just Turned off its Final Oracle Database | Amazon Web Services
AWS News Blog Migration Complete – Amazon’s Consumer Business Just Turned off its Final Oracle Database Over my 17 years at Amazon, I have seen that my colleagues on the engineering team are never content to leave good-enough alone. They routinely re-evaluate every internal system to make sure that it is as scalable, efficient, performant, and secure as possible. When they find an avenue for impro
Amazon DynamoDB now supports bulk imports from Amazon S3 to new DynamoDB tables
Amazon DynamoDB now makes it easier for you to migrate and load data into new DynamoDB tables by supporting bulk data imports from Amazon S3. Now, you can import data directly into new tables to help you migrate data from other systems, load test data to help you build new applications, facilitate data sharing between tables and accounts, and simplify your disaster recovery and business continuity
AWSアカウント間のDynamoDBデータ移行計画の記録（計画の実行と想定外の事象） | DevelopersIO
今まで記載してきた様々な検証については、 3 名でそれぞれ役割を分担して行ってきました。当日の作業実施もお願いしています。 移行作業のスケジュールについて 移行作業のスケジュールは、以下の要領で確定させました。 まずは我々の方で、遅延、リトライが見込まれる作業のバッファを積んだ上で暫定スケジュールを作成 顧客と調整し、完全システムオープンの時刻から、各連携システムの検証時間を引いて転送完了デッドラインの時刻を逆算 転送完了デッドラインの時刻に確実に終わるように、作業開始時刻を逆算 転送作業スケジュールにはバッファを積んでいるため、最悪のケースの作業時間で計画しています 作業開始時刻にすぐ作業が始められるよう、影響がない範囲で事前に準備できる作業をいれる 今回は、完全システムオープン時にはすべての連携システムが正しく動いてることを保証していなければなりません。そのため、最悪ここまでに転送が完
You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB
You now can use PartiQL (a SQL-compatible query language)—in addition to already-available DynamoDB operations—to query, insert, update, and delete table data in Amazon DynamoDB. PartiQL makes it easier to interact with DynamoDB and run queries in the AWS Management Console. Because PartiQL is supported for all DynamoDB data-plane operations, it can help improve the productivity of developers by e
Ten years ago, Amazon Web Services (AWS) launched Amazon DynamoDB, a fast, flexible NoSQL database service that offers single-digit millisecond performance at any scale. In an online post on Jan. 18, 2012, Werner Vogels, chief technical officer at Amazon.com, wrote: “Today is a very exciting day as we release Amazon DynamoDB, a fast, highly reliable and cost-effective NoSQL database service design
AWSアカウント間のDynamoDBテーブルコピーをData PipelineからStep Functions + AWS Backupに変更しました - Uzabase for Engineers
NewsPicks SREチームのEdwin Wilsonです。 NewsPicksでは開発環境のテストデータのプロビジョニングを行うツールとしてDatarefreshというものがあります。 このツールは本番環境のデータストアから開発環境のデータストアに対してデータを同期するアプリケーションです。 対象のデータストアは以下となります。 Amazon RDS Amazon DynamoDB Amazon S3 Amazon ElastiCache 個人情報はRDSにのみに存在しており、マスク処理を行った後、同期しています。 DynamoDB ,S3, ElastiCacheには個人情報を存在しないため、開発に必要なデータをそのまま同期しています。 Datarefreshの実行は開発者がいつでもChatopsで行えます。 ChatopsでDatarefreshの実行の仕方 Chatopsで呼び
2019年IIJにJoin。農業IoTを始めLoRaWANプロジェクトに参画し、開発しています。だいたいどこでも行くし、だいたいなんでもやります。ほんとに。 はじめまして。 2019年11月より、IIJ IoTビジネス事業部新規事業推進課にJoinした増田と申します。今回初めて本ブログに記事を投稿します。 まず簡単に自己紹介させていただきます。かなり雑多な経歴でして、Webサービスや観測システムの開発のほか、南極観測越冬隊に参加してレーダーを作りに行ったりしていました。そうしてフォークリフトと第一級陸上無線技術士とLPICの免許を持った妙な人になりました。 フォークリフトの運転は滅茶苦茶下手くそですが、もう使わないと思われるので問題ありません。日本にはフォークリフトが得意な人がたくさんいますから、私に重機は使わせないのが世のため人のためでしょう。 こういう経歴なので、現場仕事も多くありまし
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］ 現在、企業で使われているデータベースの主な役割は、会計や経理、受発注管理、製造管理など、社内業務を適切に管理することで経営を支援するためにデータを記録、分析するための基盤でしょう。 しかしそれに加えて現在急拡大しているのが、顧客との取引やコミュニケーションの履歴やアンケート結果、ソーシャルメディアのデータなど、さまざまな種類の膨大なデータを蓄積し分析することで、適切かつ効果的な顧客や顧客候補とのエンゲージメントを実現するためのデータの蓄積と分析基盤としての役割です。 データを活用して企業と顧客とのエンゲージメントを高めるサービス「MicoCloud」を提供するMicoworks社は、まさにこうした新しいデータベース基盤の実現と利用によって急成長している企業の1つです
Introducing NoSQL Workbench for Amazon DynamoDB — Now in Preview
Today, AWS introduced NoSQL Workbench for Amazon DynamoDB to help developers build scalable, high-performance data models and to simplify query development and testing. NoSQL Workbench is a free, client-side application available for Windows and macOS. DynamoDB is a fully managed NoSQL database service that provides fast and predictable performance with seamless scalability. Designing scalable, fl
AWS のディザスタリカバリ (DR) アーキテクチャ、パート IV: マルチサイトアクティブ/アクティブ | Amazon Web Services
Amazon Web Services ブログ AWS のディザスタリカバリ (DR) アーキテクチャ、パート IV: マルチサイトアクティブ/アクティブ このブログはSeth Eliot (Principal Reliability Solutions Architect with AWS Well-Architected)によって執筆された内容を⽇本語化したものです。原⽂はこちらを参照して下さい。 このシリーズの最初のブログ記事では、ディザスタリカバリ (DR) の 4 つの戦略を紹介しました。その後の投稿では、バックアップと復元、パイロットライト、ウォームスタンバイアクティブ/パッシブ戦略の詳細を共有しました。 この投稿では、ワークロードを実行し、2 つ以上の異なるサイトでリクエストを処理するアクティブ/アクティブ戦略を実装する方法について説明します。他のDR戦略と同様に、これにより
Amazon Web Services ブログ Amazon DynamoDB スケーリングのベストプラクティス はじめに 長年にわたって、Amazon DynamoDB はものすごいスピードで進化を遂げています。グローバルセカンダリインデックス(GSI)、クエリ式のサポート、Auto Scaling 機能、そして、ポイントインタイムリカバリ (PITR) 、オンデマンドモードを断間なくリリースされました。お客様はモバイルバックエンドをはじめ、ゲームや IoT (Internet of Things) の実装まで、さまざまなユースケースで DynamoDB を使用してきました。 本記事は、DynamoDB を利用する中で、スケーリングの部分に焦点に当たって、スケーリングを考えるときのポイントを説明します。その後、代表的なワークロード、例えば、新しいサービスローンチや、ゲームにおいては新しい
「AWS Controllers for Kubernetes」(ACK)、AWSが公開。KubernetesからAWSのサービスを定義可能
AWSは、AWSのサービスやリソースをKubernetesのkubectlで定義できる「AWS Controllers for Kubernetes」(ACK)を、オープンソースとしてデベロッパープレビューで公開したことを明らかにしました。 AWS Controllers for Kubernetesを用いることで、Kubernetesのクラスタから直接AWSのサービスとリソースを定義し、使用できるようになります。 現時点で、Amazon S3、Amazon SNS、Amazon SQS、DynamoDB、Amazon ECR、AWS API Gatewayなどのサービスに対応しています。今後ほかのサービスにも対応が広がる見通しです。 これまでKubernetesからAWSのサービスやリソースを呼び出すためのソフトウェアとして「AWS Service Operator」がありました。今回リ
この記事は AWS Advent Calendar 2019 16日目の記事でした。 2020/7/21 に AWS SAM CLI が General Available となっため、v1.0.0 時点の情報に更新しました。 2021/8/24 に v1.29.0 時点の情報に更新しました。 はじめに 2018年の5月にaws-sam-local 改め aws-sam-cli の新機能 sam init を試すという記事を投稿しました。 AWS SAM CLI は GitHub 上で開発が行われていますが、リリースのペースが早く日々機能追加や改善が行われています。結果として上記の記事の内容は一部古いものとなっています。本記事では2021年8月22日時点の最新バージョンである v1.29.0 までのリリースを踏まえた使い方をご紹介します。 AWS SAM と AWS SAM CLI Ser
Amazon Web Services ブログ AWS が支えた Amazon プライムデー 2019 プライムデーに何を買いましたか? 私は、34 インチ Alienware Gaming Monitor を購入し、過去 6 年間よく役立ってくれた 25 インチのモニターのペアと交換しました。 過去何年もやってきたように、AWS がお客様のためにプライムデーを実現させた多くの方法のいくつかを共有したいと考えています。How AWS Powered Amazon’s Biggest Day Ever と Prime Day 2017 – Powered by AWS を読んで、それぞれのプライムデーの結果を評価する方法の詳細、その結果を利用して当社がシステムとプロセスの改善をどのように推進しているかを学んでください。 今年は、プライムデーで AWS が記録的な量のトラフィックと販売をサポー
New – Import Existing Resources into a CloudFormation Stack | Amazon Web Services
AWS News Blog New – Import Existing Resources into a CloudFormation Stack With AWS CloudFormation, you can model your entire infrastructure with text files. In this way, you can treat your infrastructure as code and apply software development best practices, such as putting it under version control, or reviewing architectural changes with your team before deployment. Sometimes AWS resources initia
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service | USENIX
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service Mostafa Elhemali, Niall Gallagher, Nicholas Gordon, Joseph Idziorek, Richard Krog, Colin Lazier, Erben Mo, Akhilesh Mritunjai, Somu Perianayagam ,Tim Rath, Swami Sivasubramanian, James Christopher Sorenson III, Sroaj Sosothikul, Doug Terry, Akshat Vig, Amazon Web Services Amazon DynamoDB is a NoSQL cloud
こんにちは。開発部の高橋です。 本記事はdely #1 Advent Calendarの11日目の記事です。 adventar.org dely #2もあるのでこちらもどうぞ。 adventar.org 昨日はうっくんさんの「UIデザイナーがSwiftを学んでUIを実装したら生産性が爆上がりした」でした。 note.com 先月末、DynamoDBがSQL互換言語であるPartiQLに対応しました。 aws.amazon.com PartiQLとはSQL互換のクエリ言語で、PartiQLから出力される中間表現を各サービスが対応することによって様々なサービスがSQLライクに操作できるようになります。 aws.amazon.com 今回の対応で、DynamoDBのGetItemやPutItemといった操作をSQLライクに実行できるようになりました。 また、それに合わせてRubySDKの方でも早
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
フューチャー夏休み自由研究連載12本目の記事です。 はじめにはじめまして。TIG DXユニットの富山です。2020年4月新卒入社です。 夏休み自由研究連載の11本目の記事で公開されたSlack×GASの日報テンプレBOTを実務に導入してみたの執筆者である仁木さんと同期です。 私が参画しているプロジェクトでは、データベースにDynamoDBを採用しています。私は、RDBMSしか使用した経験がなかったので、NoSQLであるDynamoDBの理解にとても苦しみました。そこで今回の夏休み自由研究では理解した内容をまとめてみたいと思います！ つまったポイントサマリ― これらが理解できるような記事を目指します。 DynamoDBとは公式ドキュメントによると、 Amazon DynamoDB は、規模に関係なく数ミリ秒台のパフォーマンスを実現する、key-value およびドキュメントデータベースです。
AWS AppSyncキャッシングとAmazon DynamoDBトランザクションのサポートによりGraphQL APIのパフォーマンスと一貫性が更に向上します | Amazon Web Services
Amazon Web Services ブログ AWS AppSyncキャッシングとAmazon DynamoDBトランザクションのサポートによりGraphQL APIのパフォーマンスと一貫性が更に向上します AWS AppSyncはGraphQLのマネージドサービスで、単一または複数のデータソースのデータに安全にアクセスしたり、操作したり、結合するための柔軟なAPIを作成でき、アプリケーション開発をシンプルにすることができます。多くの場合、異なったデータソースは異なったユースケースに合わせて最適化され、データが配信されるスピードも異なっていることでしょう。その基になるGraphQLスキーマで定義されているデータフィールドもかなり多様です。 たとえば、eコマースアプリケーションでは、在庫量を表すデータフィールドは頻繁に更新されますが、顧客プロフィールの更新は時々です。トランザクションIDに
AWS Step Functionsにサーキットブレーカーパターンを組み込んでみた | DevelopersIO
AWS Step Functionsステートマシン実行中、再試行で回避できない予期しない障害が発生したときは、再試行せず、失敗系フローに遷移する必要があります。 ステートマシンをまたいで障害を管理できるよう、Amazon DynamoDBで障害を管理し、ステートマシンの安定性と回復性を向上する方法を紹介します。 サーキットブレーカーパターンをStep Functionsのステートマシンに組み込んだソリューションとも言えます。 基本的な考え方は次のAWSブログを参考にし、C#の実装をPythonに変更し、DynamoDBのTTLも使わずに実装をシンプルにしています。 Using the circuit breaker pattern with AWS Step Functions and Amazon DynamoDB | AWS Compute Blog 想定するユースケース ステートマシ
「ハイトラフィック運用 〜スループットの向上を目指して〜」という話をしました #devio2020 | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 さて弊社では昨日よりDevelopersIO2020 〜connect〜というイベントが開かれています。 セッションもりもりだよ！ あつまれー！https://t.co/viwYQqiKG7#devio2020_connect — 深澤俊 (@shun_quartet) June 3, 2020 その中で僕は「ハイトラフィック運用 〜スループットの向上を目指して〜」という話でセッションさせていただいたので本ブログではその発表した内容を資料と共にご紹介します！ 動画 資料 セッション内容 今回扱うこと、扱わないこと 今回は観点をメインに紹介します。 それぞれのエンジン等による細かい違いやチューニング方法には触れません。 例：MySQLとPostgras等 メトリクスはCloudWatchのものをご紹介します。 今回はあくまで概要と基本です。
Lambdaを実装しているとき、ふと「ログのレベルって決めてたっけ？」となりました。 個人の基準はあってもチームとしては曖昧だったので（開発者のさじ加減）、チームで話し合って明文化してみました。 前提 対象はLambdaのログです ERRORレベルのログがあるとき、Slackに通知する仕組みがあります この通知を元に開発者が確認を行い、必要に応じて対処します AWSの環境は3つです development staging production ログを残す理由 Lambdaの処理で何かあったことを認識するため 何らかの対応（暫定・恒久）を行うとき、参考情報とするため CloudWatch AlarmでLambdaのエラー監視をすればLambdaの実行が失敗したことは分かりますが、適切なログが無ければ、「何をしようとして失敗したのか？」「その時のパラメータは何か？」などが分かりません。 また、
CloudWatchのslack連携というとLambdaでpostが鉄板ですが、より良くしようとするとLambdaをメンテしていく必要があります。 メッセージを視覚的に良くするならslackのattachmentsなどで工夫が必要だし、用途別に通知を分けるとかなると、Lambdaに分岐書いたりとかLambdaをコピペしたりなど。。。 たまたま、marbotというCloudWatchの専用botを見つけ、試しに導入してみたら結構イイ感じだったのでその紹介です。 marbotについて 公式サイト - marbot CloudWatch専用の通知botで、アラートのslack通知や簡易的なエスカレーションがあります。 今のところは有料プランはなく、費用ゼロで使用できます。 AWSのChatbotコンテストで入賞してたみたいです。 https://aws.amazon.com/jp/blogs/n
EKSのIAM Role for Service Accountsを使用するときにはSTSのリージョナルエンドポイントを使うように設定しようという話 - もうずっといなかぐらし
先日、DynamoDBにアクセスするAPIをLambdaからEKS上への再実装・載せ替えを行いました。その際、IAM Role for Service Account(IRSA)を使用した一時クレデンシャル取得時のレイテンシが大きく高まる事象に遭遇しました。 原因と解決策を調査から解決に至るまでの過程とともにご紹介します。 TL;DR IRSAを使用する際は一時クレデンシャル取得時にSTSにリージョナルエンドポイントを使用させるためAWS_STS_REGIONAL_ENDPOINTS=regionalという環境変数を設定することを検討すること。 経緯 現在転職会議ではECS or Lambdaで実装された既存のサービスを順次EKS上に載せ替えていっています。 先日、私がLambdaで実装されていたAPIをGoで再実装しEKS上に載せ替えました。このAPIはDynamoDBの中身をレスポンス
当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の21日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。本日のテーマは『Amazon DynamoDB』です。 目次 Amazon DynamoDBとは サービス名にDBとある通りデータベースです。2012年1月にローンチされた
VPC LambdaからVPCエンドポイント経由でDynamoDBにアクセスしてみた | DevelopersIO
サーバーレス開発部改め、CX事業本部の佐藤です。 概要 VPC LambdaからDynamoDBにアクセスするユースケースがあったため、実際にやってみました。 VPCにあるRDSなどにアクセスする際は、VPC Lambdaにする必要があります。VPC Lambdaにした場合はLambdaのインターネットアクセスが失われるため、VPC以外のAWSリソースにはアクセスできません（DynamoDBなど）。VPC Lambdaがインターネットにアクセスする際は、AWSの制約でLambdaをプライベートサブネットに配置し、パブリックサブネットにNAT ゲートウェイを配置する必要があります。 https://aws.amazon.com/jp/premiumsupport/knowledge-center/internet-access-lambda-function/ 以前は、VPC Lambdaか
Amazon Prime Day 2019 – Powered by AWS | Amazon Web Services
AWS News Blog Amazon Prime Day 2019 – Powered by AWS What did you buy for Prime Day? I bought a 34″ Alienware Gaming Monitor and used it to replace a pair of 25″ monitors that had served me well for the past six years: As I have done in years past, I would like to share a few of the many ways that AWS helped to make Prime Day a reality for our customers. You can read How AWS Powered Amazon’s Bigge
AWSアカウント間のDynamoDBデータ移行計画の記録（事象の回避とまとめ） | DevelopersIO
はじめに 随分間が空いてしまいました。 想定外の事象の原因についてとその回避策、そしてまとめ。これで最後です。 前回まで 3 回にわたって手法の検証、計画の作成、実施について記載しました。 AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） AWSアカウント間のS3, DynamoDBデータ移行計画の記録（データ完全性検証方法の検討） AWSアカウント間のDynamoDBデータ移行計画の記録（計画の実行と想定外の事象） 今回は、実施時に発生した事象についての原因の説明と回避について記載します。 発生した事象について おさらいになります。前回発生した事象から。 取り込みの Producer 及び転送用の Worker が想定以上に働いておらず、転送対象のテーブルの Write Capacity Unit が想定の 1/5 程度で頭打ちになってしまってい
【週刊 Ask An Expert #10】サーバーレス化を検討している？そこは AWS Amplify でしょ。 AWS Loft Tokyo で受けた質問まとめ #AWSLoft | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #10】サーバーレス化を検討している？そこは AWS Amplify でしょ。 AWS Loft Tokyo で受けた質問まとめ #AWSLoft こんにちは、スタートアップ ソリューションアーキテクトの松田 (@mats16k) です。 だんだん暑くなってきましたが、いかがお過ごしでしょうか。私は半ズボンでの出勤を解禁しました（スタートアップなら普通ですよね？）。今回は週刊 Ask An Expert 記念すべき第10回目をお届けしたいと思います。「参考になった！」「いい内容だ！」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けてシェアしてください。もちろん、改善点・ご要望もお待ちしております。 Ask An Expert ? さて、皆さん AWS Loft Tokyo はご存知でしょうか？ 目黒セントラ
DynamoDBでSQLが使える!?DynamoDB+PartiQLで何が出来るのか試してみた | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 先日DynamoDBについて以下の発表がありました。 え！？DynamoDBでSQL使えるようになるの？何がどこまでできるのか気になったのでドキュメントを参照しながら試してみたいと思います。 正確にはSQL互換のクエリ言語のPartiQLを使いますが、本稿ではSQLと呼称して記述していきます。 DynamoDB+PartiQLの操作についてはこちらのブログでも確認できます。こちらはAWS CLIを使用した操作について書かれています。 ドキュメント ドキュメントは以下から確認できます。 アクセス方法は現状以下の3パターンあるようです。 DynamoDBのWebコンソール(新バージョンのみ) AWS CLI AWS SDK(Java) 今回はWebコンソールで操作を試してみます。 CRUD操作してみた WebコンソールからSQLを実行します。まず最近でた
AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 従来の AWS のやり方で、AWS Glue チームが DynamoDB テーブルからネイティブに読み取る AWS Glue クローラおよび AWS Glue ETL ジョブの機能をリリースしたときは、AWS ビッグデータブログで Goodreads はどのように Amazon DynamoDB テーブルを Amazon S3 にオフロードし、Amazon Athena を使用してクエリを実行するのかを公開してから一週間も経っていませんでした。おかげで私はかなりわくわくしていました。コードがより少ないということは、バグもより少ないことを意味します。元のアーキテクチャは少なくとも 18
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ドメイン駆動設計を実践して自分の LINE 環境をリファクタリングしてみた | DevelopersIO
ZOZOMATのマルチテナントEKSクラスタへの移行 - ZOZO TECH BLOG
DynamoDBのキー・インデックスについてまとめてみた - Qiita
Amazon’s DynamoDB — 10 years later
サーバレスアーキテクチャで柔軟なIoTプラットフォームの構築 | IIJ Engineers Blog
Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service
Amazon DynamoDB スケーリングのベストプラクティス | Amazon Web Services
AWS SAM CLI 再入門 2021.08 - Qiita
AWS が支えた Amazon プライムデー 2019 | Amazon Web Services
DynamoDBでサポートされたPartiQLをRubySDKで利用する - dely Tech Blog
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
【入門】私を苦しめたDynamoDB | フューチャー技術ブログ
Lambdaのログレベル方針について、チームで話して明文化してみた | DevelopersIO
CloudWatch専用の通知bot、marbotを使ってみた - Qiita
AWS再入門ブログリレー DynamoDB編 | DevelopersIO
ascii.jp
ameblo.jp/e9srj6
www.sponichi.co.jp
kabutan.jp
www.sponichi.co.jp
www.sponichi.co.jp