Hadoop/Storm の統合を実現する Twitter の SummingBird - Okapies' Archive

Twitter が SummingBird を正式リリースして早二ヶ月。「日本語の紹介記事がほとんど出てないな」と気付いたので、調査がてらまとめてみました。 SummingBird とは？ MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、ひとたび SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できること。 SummingBird では、Hadoop を使う「バッチモード」と、Storm を使う「リアルタイムモード」に加えて、二つを同時に実行する「ハイブリッドモード」がある。ハイブリッドモードでは、ジョブの作者が特に配慮しなくても、バッチとリアルタイムの処理結果を自動的にマージできる。 ハイブリッドモードでは、同じジョブを Hadoop と Storm で同時に実行できるので、Hadoop の耐障害性

[mazinlabs]

便利そう

[wyukawa]

ほう＞例えば、Storm からリアルタイムな結果を得ながら、仮に Storm がコケた場合でも、あとから Hadoop が同じデータを処理して結果を復旧できる。

[yass]

" MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できる / Storm がコケた場合でも、あとから Hadoop が同じデータを処理して結果を復旧"

[kimutansk]

端的に言うとラムダアーキテクチャを実現しやすくする共通IFなんですが、当然ながらStorm等個別FRWのフル機能は使えないので、そのあたりは考える必要がありそう