Twitterの新ストリーム処理基盤、Heronのアーキテクチャは？（詳細 - 夢とガラクタの集積場
こんにちは。 前回論文の前半部、Stormの問題点を読みましたが、 今回は中盤部、Twitter Heronのアーキテクチャについてです。 あと、後半部のStormとHeronの性能比較については下記のページでまとめているのの 事例が増えただけでしたので、とりあえず省略する方向で＾＾；kimutansk.hatenablog.com では、前回の続きです。 5. Heron 5.1 Data Model and API Heronの主要な設計目標はStormのAPI互換性を維持すること。 そのため、HeronのデータモデルはStormと同様のものとなる。 StormのようにHeronはTopologyを実行し、SpoutとBoltの有向非循環グラフとなる。 同様に、SpoutはTopology内に入力Tupleを生成or外部から取得し、Boltは実際の計算処理を行う。 Heron Topo
Twitter HeronはStormに比べてどう進化しているのか？ - 夢とガラクタの集積場
こんにちは。 今月頭、TwitterがHeronという新しいリアルタイム解析基盤について発表していました。 読んでみると、StormとAPIの互換性を保ったまま新しいHeronというリアルタイム解析基盤を開発したそうな。blog.twitter.com ですので、一度Heronの記事を読んでまとめて、Stormと比較しておこうと思います。 StormもOSS化されて4年近く経過し、ストリーム処理プロダクトも世代交代の時期に来ているようですので、その意味でのまとめとしても。 その前に、そもそもStormって？ 2011年にTwitterがOSS化した耐障害性を持つ分散ストリーム処理基盤です。 どういうものかは下記あたりの資料を読むのが私が何か下手に書くよりわかりやすいと思います＾＾； 初めて広く広まったストリーム処理基盤のOSSで、その分野の走りだったのではないか、と考えています。 Twit
Twitter Heronの論文でのStormの問題点は？（詳細 - 夢とガラクタの集積場
こんにちは。 前回あーいう形でサマリ記事を読んだので、次は実際に論文を読んでみるしかないだろう・・ ということで、Twitter Heronの論文を読んでみました。 今回は前半の、Stormの問題点を記述した個所と、設計検討結果についてです。 Twitter Heron ただ、全文そのまま訳しているのではなく、読みながらそれなりに意訳や切り捨ては入っています。 Abstract Stormは長い間Twitterにおけるリアルタイム解析のメイン基盤だった。 ただ、Twitterでのリアルタイム処理データ量が多様性の増加やユースケースの追加に伴って増加した結果、Stormの制約も多く明らかになった。 Twitterには共有インフラ上で動作する、よりスケールし、デバッグしやすく、性能が高く、管理しやすい基盤が必要になった。 これらの事情を受けてTwitter内でいくつかのオプションを基に検討した
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterのリアルタイム分散処理システム「Storm」入門
