Twitter Heron
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Next-Gen Decision Making in Under 2ms
This talk covers the Vault 8 team's journey at Capital One where we investigated a wide variety of stream processing solutions to build a next generation real-time decisioning platform to power Capital One's infrastructure. The result of our analysis showed Apache Storm, Apache Flink, and Apache Apex as prime contenders for our use case with Apache Apex ultimately proving to be the solution of cho
The Joy of Deploying Apache Storm on Docker Swarm - High Scalability -
This is a guest repost from Baqend Tech on deploying and redeploying an Apache Storm cluster on top of Docker Swarm instead of deploying on VMs. It's an interesting topic because of the experience Wolfram Wingerath called it "a real joy", which is not a phrase you hear often in tech. Curious, I asked what made using containers such a good experience over using VMs? Here's his reply: When I wrote t
Apache Storm 1.0.0 released
The Apache Storm community is pleased to announce that version 1.0.0 Stable has been released and is available from the downloads page. This release represents a major milestone in the evolution of Apache Storm, and includes an immense number of new features, usability and performance improvements, some of which are highlighted below. Improved Performance One of the main highlights in this release
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
Twitterの新ストリーム処理基盤、Heronのアーキテクチャは？（詳細 - 夢とガラクタの集積場
こんにちは。 前回論文の前半部、Stormの問題点を読みましたが、 今回は中盤部、Twitter Heronのアーキテクチャについてです。 あと、後半部のStormとHeronの性能比較については下記のページでまとめているのの 事例が増えただけでしたので、とりあえず省略する方向で＾＾；kimutansk.hatenablog.com では、前回の続きです。 5. Heron 5.1 Data Model and API Heronの主要な設計目標はStormのAPI互換性を維持すること。 そのため、HeronのデータモデルはStormと同様のものとなる。 StormのようにHeronはTopologyを実行し、SpoutとBoltの有向非循環グラフとなる。 同様に、SpoutはTopology内に入力Tupleを生成or外部から取得し、Boltは実際の計算処理を行う。 Heron Topo
Twitter Heronの論文でのStormの問題点は？（詳細 - 夢とガラクタの集積場
こんにちは。 前回あーいう形でサマリ記事を読んだので、次は実際に論文を読んでみるしかないだろう・・ ということで、Twitter Heronの論文を読んでみました。 今回は前半の、Stormの問題点を記述した個所と、設計検討結果についてです。 Twitter Heron ただ、全文そのまま訳しているのではなく、読みながらそれなりに意訳や切り捨ては入っています。 Abstract Stormは長い間Twitterにおけるリアルタイム解析のメイン基盤だった。 ただ、Twitterでのリアルタイム処理データ量が多様性の増加やユースケースの追加に伴って増加した結果、Stormの制約も多く明らかになった。 Twitterには共有インフラ上で動作する、よりスケールし、デバッグしやすく、性能が高く、管理しやすい基盤が必要になった。 これらの事情を受けてTwitter内でいくつかのオプションを基に検討した
Twitter Heronの論文でのStormの問題とHeronの利点は？（サマリ - 夢とガラクタの集積場
こんにちは。 前回TwitterBlogのHeronの記事を読み込んでみたので、 次は論文を読むか、とはりきってみた所、有料だったので撃沈した今日この頃です。 この後開発が進んでいくことを考えると今買って読んでしまうか悩みますね・・ と思っていた所、下記のPaperを読んだ結果のサマリが投稿されているサイトが見つかったので、 実際論文読むかの参考という意味でも読んでみます。 blog.acolyer.org ただ、そのまま挙げているわけではなく、Nathanさんのブログの記事云々とか等、 一部省略している所もあります。 1. Twitterでは既にStormを使用していない。 Twitterでは既にStormは使用しておらず、Heronがストリーム処理の基本となっている。 ここ数カ月で既に数百のTopologyを複数のデータセンターで運用している。 ＝＝＝＝＝ このあたりは、さすがStor
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Storm worker redesign
[STORM-2306] Redesign Messaging Subsystem, switch to JCTools Queues and introduce new Backpressure model - ASF JIRA
Apache Apex (Next Gen Hadoop) vs. Storm - Comparison and Migration Ou…
Cloudera Blog
Look out, Spark and Storm, here comes Apache Apex
Extending the Yahoo Streaming Benchmark + MapR Benchmarks
Strata Conference + Hadoop World NY 2016: Lessons learned building a scalable self-serve, real-time, multitenant monitoring service at Yahoo
Yahoo! Benchmarks Apache Flink, Spark and Storm
Matthias J. Sax – A Tale of Squirrels and Storms
Samza - Storm
Notes on Storm+Trident tuning
Force Storm to use fat jar dependency instead of classpath defined dependency