Hadoop/Storm の統合を実現する Twitter の SummingBird - Okapies' Archive
Twitter が SummingBird を正式リリースして早二ヶ月。「日本語の紹介記事がほとんど出てないな」と気付いたので、調査がてらまとめてみました。 SummingBird とは？ MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、ひとたび SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できること。 SummingBird では、Hadoop を使う「バッチモード」と、Storm を使う「リアルタイムモード」に加えて、二つを同時に実行する「ハイブリッドモード」がある。ハイブリッドモードでは、ジョブの作者が特に配慮しなくても、バッチとリアルタイムの処理結果を自動的にマージできる。 ハイブリッドモードでは、同じジョブを Hadoop と Storm で同時に実行できるので、Hadoop の耐障害性
yebo blog: Twitterがオープンソース「Storm」をリリース
2011/08/07 Twitterがオープンソース「Storm」をリリース TwitterのNathan Marz氏が、ブログでリアルタイムなデータ処理行うHadoopのようなプラットフォーム「Storm」を9月19日のStrange Loopでオープンソースとしてリリースすると発表している[slashdot]。元々はTwitterが買収したBlackTypeのプロダクトで、Twitterのフィードのような多量のライブデータの解析に適しているらしい。 メールで送信 BlogThis! Twitter で共有する Facebook で共有する Google バズで共有する 投稿者 zubora 投稿時間 10:24 ラベル: Developer, Open Source, Programming, Software, Twitter 0 コメント: コメントを投稿
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
