Test Your Streaming Data Solution with the New Amazon Kinesis Data Generator | Amazon Web Services
AWS Big Data Blog Test Your Streaming Data Solution with the New Amazon Kinesis Data Generator When building a streaming data solution, most customers want to test it with data that is similar to their production data. Creating this data and streaming it to your solution can often be the most tedious task in testing the solution. Amazon Kinesis Streams and Amazon Kinesis Firehose enable you to con
Encrypt and Decrypt Amazon Kinesis Records Using AWS KMS | Amazon Web Services
AWS Big Data Blog Encrypt and Decrypt Amazon Kinesis Records Using AWS KMS Customers with strict compliance or data security requirements often require data to be encrypted at all times, including at rest or in transit within the AWS cloud. This post shows you how to build a real-time streaming application using Kinesis in which your records are encrypted while at rest or in transit. Amazon Kinesi
Amazon Kinesis Firehose can now prepare and transform streaming data before loading it to data stores
You can now configure Amazon Kinesis Firehose to prepare your streaming data before it is loaded to data stores. With this new feature, you can easily convert raw streaming data from your data sources into formats required by your destination data stores, without having to build your own data processing pipelines. To use this feature, simply select an AWS Lambda function from the Amazon Kinesis Fi
Guaranteeing Order with Kinesis Bulk Puts
Playing with Kinesis recently, we came across a problem of how to guarantee order when posting a set of records to its bulk API. This article summarizes it and talks about how although we never directly solved the problem that we thought we had, we were able to use a slightly altered approach to have the system meet some of the characteristics that we wanted to see. The basic primitive to send a r
ClojureとKinesisの相性が良さそうという話 - Qiita
Clojureを使うと面倒なKCLアプリケーションが簡単にかけますよといったような話をします。 1. ClojureとAWS 実はAWSにそこまで詳しいわけではないのですが、AWSのアプリケーションは大体Javaから使用されることが想定されているような気がします。 もちろん、各言語向けのSDKもありますし、中の人たちも好きにJSやらRubyやら使っているようですが、どうにもJavaのSDKを使ったほうが色々とサポートが手厚いような印象を、Kinesisを試したときに受けました。 しかしできればJavaは書きたくないものです。 もっというならEclipseも起動したくありません。Emacsが使いたい。 そう思い、どうしたもんかなあと悩んでいたのですが、そんなときにうってつけの言語があることを思い出しました。 そうです。Clojureです。 ClojureはJVMで動くので、Javaの資産が使
Raspberry PiからAmazon Kinesisへデータを上げる - Qiita
基板の選定 主に以下の理由で、Arduino Unoを使っていたのをRaspberry Pi B+にした。 Arduinoだと プログラムがC++/Processing風言語に固定される メインループが一つ JSONのサイズが大きいと送出がうまくいかないなど何かと動きが不明 プログラム修正のたびに端末を触りに行く必要がある がんばればそれぞれなんとかなるかもしれないが、Raspberry Piだと最初からLinuxなので、 LLや既存パッケージが使える プロセス管理できる SSHログインできる Chefなどでのオーケストレーションを見込める などスケールがききそう。 Raspberry Piの設定 Raspbian Raspbian 2014-12-24をDLしてセットアップする。(Pidoraでもいいかもしれないが未検証) 手順はここが参考になったので詳細割愛。 boto AWSへの接続
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Process Large DynamoDB Streams Using Multiple Amazon Kinesis Client Library (KCL) Workers | Amazon Web Services
秒間数万のログをいい感じにするアーキテクチャ
Clojure and Kinesis at scale - Joseph Wilk