Storm0.9.0-rc1で何が新しくなったの？ - Taste of Tech Topics
こんにちは。kimukimuです。 最近気温の変化が激しくて、夜暑くて夏の格好で寝ると途中で寒くて目が覚める・・・ というのが普通にある今日この頃です。 皆さんもお大事に。 さて、先週StormがApacheプロジェクトとなったことについて投稿しましたが、 Stormで大きなニュースがまた一つ出ました。 Storm0.9.0-rc1のリリースです。 rcで正式版ではないのか、という突っ込みもありますが、 このバージョンは「0.9.0正式版リリースに向けた最終リリース確認バージョン」という位置づけのため、 そう遠くないうちに正式な0.9.0としてリリースされることが見込まれます。 1.Storm0.9.0の新機能／変更 Storm-Nettyの登場 まず、もっとも影響の大きな機能変更点として、「通信レイヤをZeroMQとNettyどちらを使うか選択可能になった」があります。 これまではSto
Apache Spark Streaming＝大規模準リアルタイムストリーム処理？ - 夢とガラクタの集積場
こんにちは。 Sparkについて調べてみよう企画第２段（？）です。 １回目はまずSparkとは何かの概要資料を確認してみました。 その先はRDDの構造を説明している論文と、後Spark Streamingというストリーム処理基盤の資料がありました。 とりあえず、そんなわけで（？）お手軽に概要がわかりそうなSpark Streamingの方を調べてみました。 まず見てみた資料は「Overview of Spark Streaming」（http://spark.incubator.apache.org/talks/strata_spark_streaming.pdf）です。 というわけで、読んだ結果をまとめてみます。 Spark Streamingとは何か？ 大規模ストリーム処理フレームワーク ・100オーダーのノードにスケールする ・秒単位のレイテンシで処理を実行可能 ・Sparkのバッチ
Apache Kafkaってそもそも何か確認してみます（その１ - 夢とガラクタの集積場
こんばんは。 最近Stormを調べていると、 データ取得の手段としてApache Kafkaとの連携が記述されています。 そのため、とりあえず何ができるか、の概要を調べてみました。 最初はFlumeを使おうかとも思ったんですが、 下記のようなモデルの祖語もあり、とりあえずApache Kafkaについて調べてみようという。 FlumeはCollectorSinkからデータソースに投入するPush型 StormはSpoutに対して自分からデータを取得しに行くPull型 → 上記の関係上、Flumeが取得したデータを一時的に蓄えるものが必要になります。 ・・・Listener仕掛けてキューに入れるとかですね。 それをKafkaを使えば不要かなぁ、と思って確認しています。 1.何故Kafkaは作られたのか？ 元々はLinkedInのActivity StreamとData Processingを
Stormをはじめよう
本書は、オープンソースの分散データ処理システムStormの概要を紹介する書籍です。Stormのバージョン0.7.1をベースに、スパウト、ボルトといったStormクラスタを構成する基本的な要素から、ローカルモードでの使用例、トポロジーの作成、スパウト、ボルトの実装、またNode.jsのバックエンドとして動作させる。さらに、PHPから他言語からStormを利用する例を解説します。なお本書はEbookのみの販売となります。 まえがき 本書で使用されている表記規則 サンプルコードの使用について 本書に関するお問い合わせ 謝辞 1章 Stormとは Stormのコンポーネント Stormの特徴 2章 Stromをはじめるには 操作モード 「Hello World」Storm 1番目のトポロジーの作成 まとめ 3章 トポロジー ストリームのグループ化 LocalClusterからStormSubmit
ØMQの何がすごいのか理解してみる。導入編 - Taste of Tech Topics
橋本です。 これから数回にわたってØMQについて取り上げていこうと思います。 書いている中の人の趣味趣向により「どう使いこなすか？」というより「どう作られているか？」に軸足を移した 内容になると思います。 私と同じく「Stormってどういう作りになっているんだろう？」とか「Hadoopのソース読んでたら１日終わってた！」という人向けの内容になります。 その分ある程度深くもぐろうと思いますので、よろしくお願いします。 ØMQの紹介 ØMQというのは簡単に言うと「並列処理でパフォーマンスを出すための通信フレームワーク」です。 2007年ごろから開発されているOSSとしては歴史あるソフトウェアなのですが、 Stormの通信レイヤの実装で一躍有名になったのではないでしょうか？ 少なくとも私はStormのソースコード公開で初めて知り、作り手の熱い思いにわくわくしたクチです。 "MQ"という文字が含ま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
