Amazon Kinesis + Storm を連携させて、ストリームデータ処理を行ってみた - Taste of Tech Topics
こんにちは。kimukimuです。 昨日はクリスマスイブでしたが、皆さんはどのように過ごされたでしょうか？ 私はケーキは買う派ではなく、自分で作る派です。……まぁ、食べるのも自分なのですが…… クリスマスはさておき、今日はKinesisとStormに関する内容です。 AWS re:Invent 2013 で 発表されたAmazon Kinesis が12/17にPublic Betaになり一般公開されましたね！ 以下のように、KinesisはStormのコネクタを含んでいる、ということなので、さっそく試してみましょう。 Kinesis does include a connector for porting data to Storm, which AWS General Manager for Data Science Matt Wood said is a possibility in
「fluentd」と「Storm」の比較について - Tous Les Jours 攻防記
まず、両者はかなり性質の異なるプロダクトなので、以下の比較は筋違い。 筋違いであることを前提に、ストリームデータ処理プラットフォームとしての両者を比べてみる。 基本情報 fluentd http://fluentd.org/ 今をときめくログコレクター/イベントアグリゲーター。Rubyで実装されているが軽量高速。 RPC基盤ではなく、その下のレイヤーに位置するプロダクト。 Storm http://storm-project.net/ 分散RPC基盤。ストリームデータ版MapReduce風フレームワーク。Java+Clojureで実装されている。 概要については、下記のスライドがとてもわかりやすかった。 Twitterのリアルタイム分散処理システム「Storm」入門 ストリームデータ処理で何をするのかについて ストリームデータ処理のニーズについて、自分が理解している範囲での簡単な説明。 典
Stormをはじめよう
本書は、オープンソースの分散データ処理システムStormの概要を紹介する書籍です。Stormのバージョン0.7.1をベースに、スパウト、ボルトといったStormクラスタを構成する基本的な要素から、ローカルモードでの使用例、トポロジーの作成、スパウト、ボルトの実装、またNode.jsのバックエンドとして動作させる。さらに、PHPから他言語からStormを利用する例を解説します。なお本書はEbookのみの販売となります。 まえがき 本書で使用されている表記規則 サンプルコードの使用について 本書に関するお問い合わせ 謝辞 1章 Stormとは Stormのコンポーネント Stormの特徴 2章 Stromをはじめるには 操作モード 「Hello World」Storm 1番目のトポロジーの作成 まとめ 3章 トポロジー ストリームのグループ化 LocalClusterからStormSubmit
Storm: distributed and fault-tolerant realtime computation
Storm is a distributed real-time computation system that provides guaranteed message processing, horizontal scalability, and fault tolerance. It allows users to define data processing topologies and submit them to a Storm cluster for distributed execution. Spouts emit streams of tuples that are processed by bolts. Storm tracks processing to ensure reliability and replays failed tasks. It provides
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://storm-project.net/
GitHub - sorenmacbeth/marceline: A Clojure DSL for Storm/Trident
GitHub - emre/storm: Manage your SSH like a boss.
https://jp.techcrunch.com/2012/10/31/20121027big-data-right-now-five-trendy-open-source-technologies/
Twitterのリアルタイム分散処理システム「Storm」入門
A Twitter Storm Arrives: Storm Project Open Sourced
Twitter's Storm (complex event processing system) is now open source | Hacker News
GitHub - nathanmarz/storm: Distributed and fault-tolerant realtime computation: stream processing, continuous computation, distributed RPC, and more
English (US)