Twitter HeronはStormに比べてどう進化しているのか？ - 夢とガラクタの集積場
こんにちは。 今月頭、TwitterがHeronという新しいリアルタイム解析基盤について発表していました。 読んでみると、StormとAPIの互換性を保ったまま新しいHeronというリアルタイム解析基盤を開発したそうな。blog.twitter.com ですので、一度Heronの記事を読んでまとめて、Stormと比較しておこうと思います。 StormもOSS化されて4年近く経過し、ストリーム処理プロダクトも世代交代の時期に来ているようですので、その意味でのまとめとしても。 その前に、そもそもStormって？ 2011年にTwitterがOSS化した耐障害性を持つ分散ストリーム処理基盤です。 どういうものかは下記あたりの資料を読むのが私が何か下手に書くよりわかりやすいと思います＾＾； 初めて広く広まったストリーム処理基盤のOSSで、その分野の走りだったのではないか、と考えています。 Twit
Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search (ARC303) | AWS re:Invent 2013
Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search (ARC303) | AWS re:Invent 2013 "This is a technical architect's case study of how Loggly has employed the latest social-media-scale technologies as the backbone ingestion processing for our multi-tenant, geo-distributed, and real-time log management system. This presentation describes design details of how we built a second-gener
Storm0.9.0-rc1で何が新しくなったの？ - Taste of Tech Topics
こんにちは。kimukimuです。 最近気温の変化が激しくて、夜暑くて夏の格好で寝ると途中で寒くて目が覚める・・・ というのが普通にある今日この頃です。 皆さんもお大事に。 さて、先週StormがApacheプロジェクトとなったことについて投稿しましたが、 Stormで大きなニュースがまた一つ出ました。 Storm0.9.0-rc1のリリースです。 rcで正式版ではないのか、という突っ込みもありますが、 このバージョンは「0.9.0正式版リリースに向けた最終リリース確認バージョン」という位置づけのため、 そう遠くないうちに正式な0.9.0としてリリースされることが見込まれます。 1.Storm0.9.0の新機能／変更 Storm-Nettyの登場 まず、もっとも影響の大きな機能変更点として、「通信レイヤをZeroMQとNettyどちらを使うか選択可能になった」があります。 これまではSto
Stormの注目の新機能TridentAPI
2015.10.3 にOSC2015 Fukuoka(＠九州産業大学）で講演した資料です。 PacemakerとPostgreSQLのレプリケーション機能を組み合わせた「PG-REX」(*)は、共有ディスクを使用しない安価な構成で、商用運用にも耐える可用性を実現することができます。 このPG-REXを含むPacemakerによるクラスタ構成は初期構築後、実際の故障が発生した際にその効果を発揮しますが、ログやコマンドが複雑で、フェイルオーバの原因を突き止めたり、 その後に正しい状態に復旧する方法がわからない、といった問い合わせを受けることが多々あります。 そこで、デモでも使用しているPG-REXを例として、故障内容によるPacemakerの挙動の違い、および原因解析方法、復旧方法を、実例を挙げながら網羅的にご説明します。 * PG-REXのコミュニティも立ち上げ、普及に努めています。 コミュ
リアルタイム分散処理Stormの耐障害性は？ - Tech-Sketch
リアルタイム分散処理とは 「ビッグデータ」処理のためにHadoopを用いますと、「複数のマシンに大量データ処理を分散して飛躍的に性能を向上する」ことが容易に可能となります。 ところがHadoopの弱点としまして、ビッグデータをいったん蓄積し、バッチで一括処理する形態で処理が行われますので、処理データが発生してからそれに対する処理結果が得られるまで必ずタイムラグが発生します。このため、クレジットカードの不正アクセス検知、センサーデータなどでの異常値検出のようなリアルタイムなレスポンス(低レイテンシー)が要求されるビッグデータ分野へのHadoopの適用は向いておりません。 このような随時発生する大量データ（ストリーミングデータ）を、蓄積せずにリアルタイムに処理する「リアルタイム分散処理」が求められています。 今回は、リアルタイム分散処理のソリューションとしてTwitter社より公開された
StormがApache Incubatorプロジェクトになりました！ - Taste of Tech Topics
こんにちは。kimukimuです。 最近台風が多かったから・・・というわけではありませんが、久々のStormのニュースです。 Stormについて嬉しい発表がありました。 Stormが2013/09/18にApache Incubatorプロジェクトになりました！ ページも出来ています。 http://incubator.apache.org/projects/storm.html 最近StormのリードコミッタのNathanさんが事業を立ち上げてそちらに時間を使っているせいか、 不具合対応バージョンの0.8.3やZeroMQを使わず、新機能が追加されてモジュールも整理された0.9.0の WIPバージョンばかりが積み重なっている状態になっていました。 そのため、Apache Incubatorプロジェクトとして安定的に開発が進む土壌ができたというのは非常にありがたいですね。 Storm自体は
StormのMLで流れていた情報まとめ（2013/07〜2013/08） - 夢とガラクタの集積場
こんにちは。 情報が確定では無かったり、内部の話になってすぐどうという話ではない情報をちょくちょくMLから拾ってきていますが、 このまま死蔵するのも何なので、記事として残しておきます。 ・・・さすがに、最近は新規の情報は減ってきたのでペースは以前に比べて落ちますが＾＾； あと、議論を追っているものも混ざっているため情報ごとにソースとなるGoogle Groupsのアドレスも残しています。 参考になる方がいらっしゃったら幸いです。 ■https://groups.google.com/forum/?hl=ja#!topic/storm-user/jnwEDgqEMeU Trident topology on a Storm cluster of 4 computersの状況では以下のようにかなりのペースで ZooKeeperのトランザクションログが蓄積される。注意。 total 8.5G r
Understanding the Internal Message Buffers of Storm
When you are optimizing the performance of your Storm topologies it helps to understand how Storm’s internal message queues are configured and put to use. In this short article I will explain and illustrate how Storm version 0.8/0.9 implements the intra-worker communication that happens within a worker process and its associated executor threads. Internal messaging within Storm worker processes Il
tjun月１日記
コロナウイルスが流行する前の2020年1月上旬、中国の杭州に行ってきたのでその記録を書いておく。 はじめに 自分はこれが中国へ行くの5回目。それなりに慣れている方だと思うけど、中国人と一緒に行ったほうが圧倒的に楽です。 数年前にキャッシュレスが普及して、その後も規制が変わったりして行くたびに状況が変わっています。なので、ここで書いてあることは半年後には参考にならないかも。 事前にやっておくこと WeChatPayのアカウントを作る、可能なら本人確認とチャージをやっておく Alipayのアカウントを作って、可能なら本人確認とチャージをやっておく 中国で使える香港SIMを買う WeChatPayとAlipayのアカウントは、外国人でも作れるときと作れないときがある。またお金もチャージできるときとできないときがある。 事前にググってできるかどうか試しておくのが重要。 また、中国はいわゆるGrea
Stormをはじめよう
本書は、オープンソースの分散データ処理システムStormの概要を紹介する書籍です。Stormのバージョン0.7.1をベースに、スパウト、ボルトといったStormクラスタを構成する基本的な要素から、ローカルモードでの使用例、トポロジーの作成、スパウト、ボルトの実装、またNode.jsのバックエンドとして動作させる。さらに、PHPから他言語からStormを利用する例を解説します。なお本書はEbookのみの販売となります。 まえがき 本書で使用されている表記規則 サンプルコードの使用について 本書に関するお問い合わせ 謝辞 1章 Stormとは Stormのコンポーネント Stormの特徴 2章 Stromをはじめるには 操作モード 「Hello World」Storm 1番目のトポロジーの作成 まとめ 3章 トポロジー ストリームのグループ化 LocalClusterからStormSubmit
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterのリアルタイム分散処理システム「Storm」入門