Twitter、分散リアルタイム処理システム「Storm」公開 | gihyo.jp
2011年9月18日、Twitterは分散リアルタイム処理システム「Storm」をオープンソースで公開しました。より正確に言うと、2011年7月に買収されたBackTypeのメンバーが買収以前より開発を進めていたものです。BackTypeはTwitterのつぶやきを解析するシステムを開発していたスタートアップ企業でHadoopのヘビーユーザでもありましたが、リアルタイム性の問題点を解消すべくStormの開発に至ったようです。ちなみに同じオープンソースの分散リアルタイム処理システムとして米Yahoo! が「S4」を公開していますが、Stormはデータを処理する信頼性の高さやAPIのシンプルさに違いがあります。 StormのアーキテクチャはHadoopと似通っており、クラスタはMaster-Workerパターンに基づいています。Masterノードには「Nimbus」、Workerノードには
マイクロソフト、リアルタイム分析のApache Stormをクラウドサービスで提供へ。Azure HDInsightに追加
マイクロソフト、リアルタイム分析のApache Stormをクラウドサービスで提供へ。Azure HDInsightに追加 マイクロソフトは同社のクラウドサービスであるMicrosoft Azureで、Hadoopをベースとしたマネージドサービスである「HDInsight」を提供しています。このHDInsightに、Hadoopによるバッチ処理に加えて、ほぼリアルタイムで大規模なデータ分析を実現するApache Stormをベースにしたサービスを追加すると発表しました。現在プレビュー公開中。 Hadoopは大規模なデータ分析を得意としていますが、基本的にはバッチ処理を行うように作られているため、流入するデータを次々に分析するようなリアルタイムに近い分析処理は得意ではありません。一方でApache Stormは短期間にデータ分析を次々に行う、いわゆるニアリアルタイムを得意としています。 Ap
Stormをはじめよう
本書は、オープンソースの分散データ処理システムStormの概要を紹介する書籍です。Stormのバージョン0.7.1をベースに、スパウト、ボルトといったStormクラスタを構成する基本的な要素から、ローカルモードでの使用例、トポロジーの作成、スパウト、ボルトの実装、またNode.jsのバックエンドとして動作させる。さらに、PHPから他言語からStormを利用する例を解説します。なお本書はEbookのみの販売となります。 まえがき 本書で使用されている表記規則 サンプルコードの使用について 本書に関するお問い合わせ 謝辞 1章 Stormとは Stormのコンポーネント Stormの特徴 2章 Stromをはじめるには 操作モード 「Hello World」Storm 1番目のトポロジーの作成 まとめ 3章 トポロジー ストリームのグループ化 LocalClusterからStormSubmit
Taste of Tech Topics
こんにちは、安部です。 まだまだ寒い日が続きますが、皆さま元気にお過ごしでしょうか。 以前このブログで、作成したGPTのご紹介をしましたが、今回はその第二弾として新たに作成したGPTの紹介をしたいと思います。 第一弾で紹介したGPTについては、以下のブログ記事を参照してください。 acro-engineer.hatenablog.com 『ニャンでも常識テスト』とは？ 概要 今回作成したのは、『ニャンでも常識テスト』。 こちらからテーマを与えれば、どんなテーマでも基本的知識を問う問題を10問出題してくれます。 また、採点もしてくれて、不明点があれば当然質問して補足説明・解説をしてもらうことができます。 自分の常識を試してみてもよし、ちょっとした集まりでお遊びに使ってもよし、学習中の分野に関して 腕試しに使ってみてもよしと、様々な使い方ができると思います。 chat.openai.com 使
世界制覇をもくろむLINE――ベールを脱いだプラットフォームの全体像とは
世界制覇をもくろむLINE――ベールを脱いだプラットフォームの全体像とは：LINE Developer Conferenceまとめリポート（前編）（3/3 ページ） LINEにおけるネットワーク周りの高速化への取り組み LINEビジネスコネクトなどの利用が本格化していくと、サービスや通信の負荷は増大していく。LINEでは、サービスの高速化に向けてどのような取り組みを進めているのだろうか。 SPDYの最適化 LINEのクライアントとサーバー間は、HTTPを拡張して高速化を図ったプロトコルである「SPDY」をベースに通信を行っている。なぜSPDYの仕様をそのまま使っていないかというと、LINEサーバーの場合は、通信の相手はLINEアプリしかなく、UserAgentは1種類に限定される。UserAgentが未知の状態でサーバーがリクエストを受け付ける場合、どのプロトコルで相手と通信するかを最初に
「fluentd」と「Storm」の比較について - Tous Les Jours 攻防記
まず、両者はかなり性質の異なるプロダクトなので、以下の比較は筋違い。 筋違いであることを前提に、ストリームデータ処理プラットフォームとしての両者を比べてみる。 基本情報 fluentd http://fluentd.org/ 今をときめくログコレクター/イベントアグリゲーター。Rubyで実装されているが軽量高速。 RPC基盤ではなく、その下のレイヤーに位置するプロダクト。 Storm http://storm-project.net/ 分散RPC基盤。ストリームデータ版MapReduce風フレームワーク。Java+Clojureで実装されている。 概要については、下記のスライドがとてもわかりやすかった。 Twitterのリアルタイム分散処理システム「Storm」入門 ストリームデータ処理で何をするのかについて ストリームデータ処理のニーズについて、自分が理解している範囲での簡単な説明。 典
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
