LambdaをつかってS3にPUTされた情報のメタデータをDynamoDBで楽に管理する - Qiita
AWS Lambdaはre:Inventで発表された新しいコンピュートプラットフォームでクラウド上でコードスニペットをイベントドリブンで比較的簡単に動かせる特徴があります。例えばS3にデータがあがったとき、など今までだとどうしてもEC2をたてて、定期的にチェックをしながら動かす必要があったものが、文字通りS3側からイベントを発火してもらえるので、よけいなポーリングなどの手間がへり、結果的にコストをおさえながら目的を果たしやすくなっています。 そこで今回はS3上にあがったデータのメタデータをDynamoDBに管理するLambdaファンクションを作ってみたいと思います。 プレビューへの登録 まずはAWS Lambdaのプレビューを申し込みます。こちらから申し込む事が出来ます。 プレビュー申し込みは順番に案内しているみたいなので、申し込んだらあとは祈るのみです。 ファンクションの作成 今回はS3
ビッグデータだけじゃない Amazon DynamoDBの活用事例
概要：弊社が運用するWebAPIサービスをオンプレミス環境からAWSクラウド環境へ移行させた取り組みについてご紹介します。 弊社が持つデータベースはレコード数が巨大であるものの、いわゆる「ビッグデータ」的ではないデータ構造や負荷パターンを持っています。これをAmazon DynamoDB上に展開してシステムを構築しましたが、結果としてデータの特性とAmazon DynamoDBの仕様とがうまくフィットして機能していると思います。 移行にあたって感じたAWSそのものやAmazon DynamoDBの特徴のほか、コスト面・運用面での変化についてもご紹介します。典型的なユースケースについては他のスペシャリストの方にお任せするとして、「こんな使い方もできるのか」というヒントをお伝えできればと思っています。Read less
AWSでマルチAZなセッション管理DBを構築する5つのプラクティス | DevelopersIO
はじめに セッション管理が必要なWebアプリケーションサーバをロードバランシングやクラスタリングなどで負荷分散構成とした場合、セッション情報をデータベースに保持し共有化する方法が一般的です。しかしAWSのインフラストラクチャ障害などでAZが丸ごとダウンするようなケースを考慮した場合、Webアプリケーションサーバと共に、セッション管理DBも複数のAZに分散配置するのが望ましいでしょう。 ではAWSでセッション管理DBを複数のAZに分散配置する場合、どのような手段が考えられるのでしょうか。というのが今回のスタート地点です。 1.AZ分散配置しない いきなり前提を覆すような話をしますが、そもそもAZ分散配置が必要なケースは、AZが丸ごとダウンしセッション管理DBが使えなくなることがサービス停止に直結する場合です。 つまりアプリケーションが「セッション管理DBに接続出来ない場合はローカルのDBやフ
Autoscaling DynamoDB - InvisibleHand Blog
For a long time we've had the problem of needing to manually provision the throughputs on our DynamoDB tables. For the uninitiated, DynamoDB is Amazon's scalable NoSQL database solution. We use it as a primary data store for pretty much all of our production data. When you create a table, you have to specify how many read and write "capacity units" you need. Capacity units are a measure of reads/w
米Netflix、Amazon S3上でデータの整合性を実現するライブラリ「S3mper」を公開 | OSDN Magazine
動画配信サービスなどを手がける米Netflixは1月9日、Amazon Web Services（AWS）の1つである「Amazon S3」向けにデータの整合性を実現するライブラリ「S3mper」を公開した。HadoopとAmazon S3の組み合わせでデータに一貫性を持たせるために開発したもので、実際に社内で利用しているという。 NetflixはAmazon Web Services（AWS）が提供する各種クラウドサービスの大規模なユーザーとして知られており、AWSをインフラとして利用するにあたって社内開発した「Chaos Monkey」や「Hysterix」、「Janitor Monkey」といったツールをオープンソースで公開している。今回のS3mperもその1つとなる。 NetflixではHadoopでのファイル管理にAmazon S3を利用している。ペタバイト級のデータをS3に保存
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices | DevelopersIO
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices AWSのエンタープライズソリューションアーキテクトである、Siva Raghupathyさんによる「AWS Storage and Database Architecture Best Practices」に参加してきました。 各ストレージ、データベースの向き不向きとベストプラクティスを網羅的に紹介する内容でした。 AWSはデータベースだけでも沢山のサービスがあるので、どのサービスを利用するのが一番いいのか迷うことがよくあります。 以下は発表内容の直訳ですが、それぞれのサービスの特性を押さえておくことで、より確かな選定をするための一助になればと思います。 英語が分からなくて、訳せていない部分があります。 自信が無いところは元の英語
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
DynamoDBトランザクションライブラリをちょっぴり試してみた | DevelopersIO
よく訓練されたアップル信者、都元です。 AWSにおける代表的なKVS型データベース「DynamoDB」、皆様活用されておりますでしょうか。 RDBはACIDという特性が(略)。一方KVSではBASEという(略)。この辺りについてはAmazon RDSにおけるFallback-Queueingパターンというエントリでご紹介しましたので、参照してください。 さて、そんなDynamoDBでトランザクションを実現するJavaライブラリが出現しました。名前はそのまんま「dynamodb-transactions」。 というわけで早速試してみました。 インストール Javaプロジェクトでライブラリを利用する際は、Maven等を使ってpom.xml等に依存性を定義するだけで使えると良いのですが、このライブラリは現時点ではどこかのMavenリポジトリにホストされている訳ではないようなので、自分でビルドする
ddbcli - 対話型のDynamoDBクライアント - so what
https://bitbucket.org/winebarrel/ddbcli DynamoDBのmysqlコマンド的なクライアントを作りました。ほんとはAWS Tools Hackathonでこのネタをやろうとしていたのですが、DynamoDBのAPIにさわり始めたらあれよあれよと実装が進んでしまいまして。本番どうするかな… §導入 最初にgemでインストールしてから、環境変数を設定します。 shell> gem install ddbcli shell> export AWS_ACCESS_KEY_ID='...' shell> export AWS_SECRET_ACCESS_KEY='...' shell> export DDB_REGION=ap-northeast-1 shell> ddbcli # プロンプト表示 ddbcliコマンドを実行すると、以下のようなプロンプトが表示
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
AWSを活用したリアルタイム広告の入札・配信・ログ解析 #hcj13w
Hadoop Conference Japan 2013 Winter で発表した資料です。 http://hcj2013w.eventbrite.com/ 『AWSを活用したリアルタイム広告の入札・配信・ログ解析』 講演者: 安田 崇浩, ソネット・メディア・ネットワークス株式会社 最近のインターネット広告では、複数の広告会社が1ページビュー毎にオークションに参加して広告を配信するリアルタイムビッディングという取引が行われています。日本でも1秒間に数万件以上の取引が行われており、弊社も参加しています。最適な広告を配信するために、オークション取引や落札後の広告配信のログをMessagePack/RabbitMQで処理し、AmazonS3、Elastic Map Reduce、DynamoDB 等のAmazon Web Servicesを活用して分析しています。オークション取引、広告配信で利
What Is Amazon CloudSearch? - Amazon CloudSearch
Amazon CloudSearch is a fully managed service in the cloud that makes it easy to set up, manage, and scale a search solution for your website or application. With Amazon CloudSearch you can search large collections of data such as web pages, document files, forum posts, or product information. You can quickly add search capabilities without having to become a search expert or worry about hardware
Notes About Amazon DynamoDB
It’s been only a couple of hours since the news about Amazon DynamoDB got out. Here are my notes gathered from the Amazon DynamoDB documentation. If you found interesting bits please leave a comment and I’ll add them to the list (with attribution): it is not the first managed/hosted NoSQLit is the first managed NoSQL databases that auto-shards Update: As pointed out in the comments, Microsoft Azur
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDB活用事例 株式会社マイネット
Amazon EC2 Technical FAQs : Articles & Tutorials : Amazon Web Services
agilecatcloud.com
CLOUD STORY - Tech News
agilecatcloud.com