Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search (ARC303) | AWS re:Invent 2013
RocksDB is the default state store for Kafka Streams. In this talk, we will discuss how to improve single node performance of the state store by tuning RocksDB and how to efficiently identify issues in the setup. We start with a short description of the RocksDB architecture. We discuss how Kafka Streams restores the state stores from Kafka by leveraging RocksDB features for bulk loading of data. W
[初音ミク] Kinesis でフリーザを撃て！
Amazon Kinesis と初音ミクをもちいた、元気パワーのリアルタイムビジュアライザーRead less
![[初音ミク] Kinesis でフリーザを撃て！](https://cdn-ak-scissors.b.st-hatena.com/image/square/08a6541f0e9a72387c423b836ad6b38de0c63ea0/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fjawsdayslt20140315up-140315190450-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Marry Amazon Kinesis and Storm Using the New Kinesis Storm Spout | Amazon Web Services
AWS News Blog Marry Amazon Kinesis and Storm Using the New Kinesis Storm Spout Amazon Kinesis is a fully managed service for real-time processing of streamed data at massive scale. When we launched Kinesis in November of 2013, we also introduced the Kinesis Client Library. You can use the client library to build applications that process streaming data. It will handle complex issues such as load-b
961万人の食卓を支えるデータ解析
This document discusses Hadoop and its ecosystem. It covers Hadoop distributions like Cloudera and Amazon's Elastic MapReduce service. It also discusses running SQL-like queries using MapReduce and moving data between MySQL and Hadoop. Key algorithms like map and reduce functions are explained through examples. Different Hadoop deployment options on EC2 like standalone, Cloudera, and EMR are also
構成図を描いたらAWS上に環境をローンチしてくれるMadeira Cloudを試してみた - Cloud系Architectの日々是好日
11月のJAWS-UG大阪で「Cacooで構成図描いたら、自動でAWS上に環境をローンチしてくれるといいよね〜」って話をしていた覚えがあります。すみません、ありましたw Visual Cloud Management for AWS | MadeiraCloud ｷﾀ━(ﾟ∀ﾟ)━! って感じですw ざっくり流れは以下の3STEP。超簡単です。 STEP1 構成図を描く STEP2 パラメータを設定する STEP3 ローンチする これだけです。ね、超簡単でしょ♪ 実際にやってみたので図で手順をご紹介します。 ◯まずは Visual Cloud Management for AWS | MadeiraCloud にアクセス。Sign Up for Freeをクリックしてアカウントを作成します。（facebookやTwitterアカウントでSAMLしてくれよ...） ◯Username, Em
AWS News Blog
In the Works – AWS Region in Malaysia We launched an AWS Region in Australia earlier this year, four more (Switzerland, Spain, the United Arab Emirates, and India) in 2022, and are working on regions in Canada, Israel, New Zealand, and Thailand. All told, we now have 99 Availability Zones spread across 31 geographic regions. Malaysia in the Works Today I am happy […] New – Amazon Lightsail for Res
AWS re:Invent2013参加レポート #11 Announcing Global Secondary Indexes for DynamoDB | DevelopersIO
本日re:Inventの基調講演で,DynamoDBにGlobalSecondaryIndexが来るよと、お話があったのですが、 2013/11/14 6:00 (現地時間)の段階でDocumentも更新されていません。 2013年中には使えるようになるそうです。 re:InventではAWSもブースを出していて、そこで直接話しを聞けます。 Announceはされたものの、なんの情報も無いので、直接ブースで話を聞いてきたものを紹介します。 LocalSecondaryIndexのおさらい。 すでにある、LocalSecondaryIndexとはなにかと言うのはこちらにわかりやすく書いてあると思います。 LocalSecondaryIndexのLocalというのは,"一つのパーティションの中で"という意味でした。 dynamoDBのFAQ(日本語)を見てみると Q: 項目コレクションとは何で
Amazon Kinesis: Real-time Streaming Big data Processing Applications (BDT311) | AWS re:Invent 2013
Amazon Kinesis: Real-time Streaming Big data Processing Applications (BDT311) | AWS re:Invent 2013 "This presentation will introduce Kinesis, the new AWS service for real-time streaming big data ingestion and processing. We’ll provide an overview of the key scenarios and business use cases suitable for real-time processing, and how Kinesis can help customers shift from a traditional batch-oriented
結構知らないAmazon EBSの細かい話。主にEBSのネットワークの構造について - プログラマでありたい
先日、EBS（Elastic Block Store）のとある状況下での挙動について正確なところが知りたくて、改めて調べていました。その中で、AWSマイスターシリーズ ReloadedのEBS版を見つけたのですが、これが良い資料でした。今までEBSのネットワーク部分についてどういう構造になっているのか、正確に把握しませんでした。資料を読むことにより構造が解り、ボトルネックが発生した時にどう対処すればよいのか、より掴みやすくなりました。簡単にまとめてみたいと思います。 EBSの全体像 まずはEBSの基本構造です。当たり前といえば当たり前ですが、EBSはEC2ではなくその下のレイヤーのハイパーバイザにアタッチされます。アタッチ後にOSから認識させるという形になります。また接続の方式としてはネットワーク型ですが、利用者はネットワークを全く意識せずとも使えるようになっています。（SecurityG
AWS News Blog
Stop the CNAME chain struggle: Simplified management with Route 53 Resolver DNS Firewall Starting today, you can configure your DNS Firewall to automatically trust all domains in a resolution chain (such as aCNAME, DNAME, or Alias chain). Let’s walk through this in nontechnical terms for those unfamiliar with DNS. Why use DNS Firewall? DNS Firewall provides protection for outbound DNS requests fro
Amazon Redshift DB開発者ガイド – システム概要 | DevelopersIO
Amazon Redshiftデータウェアハウスは、エンタープライズクラスのリレーショナル・データベースクエリと管理システムです。 Amazon Redshiftはビジネス・インテリジェンス(BI)、レポート、データ、分析ツール等を含む多くの種類・タイプのアプリケーションを用いてのクライアント接続をサポートしています。分析クエリを実行する際は、取得や比較、及び最終結果を生成する為に複数段階操作で大量のデータを評価しています。 Amazon Redshiftは、効率的なストレージと超並列処理、柱状データストレージ、及び非常に効率的な、ターゲットを絞ったデータの圧縮符号化方式の組み合わせにより、最適なクエリのパフォーマンスを実現します。このセクションでは、Amazon Redshiftのシステムアーキテクチャの概要を提示し、データベースの設計、パフォーマンスを最大化するためのアーキテクチャを活
AWSがソーシャルログイン可能に。つまりAWSが事実上のMBaaSになった - snippets from shinichitomita’s journal
http://aws.typepad.com/aws_japan/2013/05/aws-iam-now-supports-amazon-facebook-and-google-identity-federation.html ほんとは言いたいことは表題だけで終了なんですが、とりあえず３行程度でまとめ。 AWSサービス群のAPIへアクセスするためのトークンを発行するサービス（STS）が、外部のアイデンティティプロバイダとの連携を開始した（Facebook、Googleなど） つまり、エンドユーザの認証のための中間サーバ（EC2も含め）を用意しなくても、AWSサービスを直接利用するモバイルアプリが作れるようになった（例：FacebookIDでログインし、S3上に割り当てられたユーザ専用のエリアに写真やファイルをアップして共有するアプリなど）。 これって、いわゆるMobile Backend
ちょっと内緒にしたいスポットインスタンスの話 - プログラマでありたい
ちょっと内緒にしたいような気がしますが、知っていたら確実に得をするAWS EC2のチップスがスポットインスタンスの活用です。まずスポットインスタンスとは？AWSのインスタンススポットのページを読むと大体解りますが、簡単に説明するとAmazonで余剰のEC2のインスタンスを入札制で大幅に安い値段でを利用する仕組みです。デメリットとしては、スポットインスタンスのインスタンス価格が入札価格を上回った場合、情け容赦なくインスタンスがストップされることです。ということで、Amazonの推奨としては以下のように、通常のインスタンスを補完するような位置づけとなっています。 オプションのタスク 遅延可能なタスク コンピューティング能力を追加することで高速化できるタスク 他の方法ではアクセスできない大量のコンピューティングインスタンスが必要になるタスク しかし、制約があるものの圧倒的に安いです。オンデマンド
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いまさら聞けない Amazon EC2
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例![[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例](https://cdn-ak-scissors.b.st-hatena.com/image/square/457e5f1d849e23163f5a7eb88eb0885140fcc556/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20140117aws-140128175458-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
AWS Webcast - Introduction to Amazon Kinesis
AWS Webcast - Introduction to Amazon Kinesis
Amazon Kinesis Developer Guide
AWS上でのWebアプリケーションデプロイ
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
