Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search (ARC303) | AWS re:Invent 2013
Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search (ARC303) | AWS re:Invent 2013 "This is a technical architect's case study of how Loggly has employed the latest social-media-scale technologies as the backbone ingestion processing for our multi-tenant, geo-distributed, and real-time log management system. This presentation describes design details of how we built a second-gener
Apache Kafkaってそもそも何か確認してみます（その１ - 夢とガラクタの集積場
こんばんは。 最近Stormを調べていると、 データ取得の手段としてApache Kafkaとの連携が記述されています。 そのため、とりあえず何ができるか、の概要を調べてみました。 最初はFlumeを使おうかとも思ったんですが、 下記のようなモデルの祖語もあり、とりあえずApache Kafkaについて調べてみようという。 FlumeはCollectorSinkからデータソースに投入するPush型 StormはSpoutに対して自分からデータを取得しに行くPull型 → 上記の関係上、Flumeが取得したデータを一時的に蓄えるものが必要になります。 ・・・Listener仕掛けてキューに入れるとかですね。 それをKafkaを使えば不要かなぁ、と思って確認しています。 1.何故Kafkaは作られたのか？ 元々はLinkedInのActivity StreamとData Processingを
[Storm] ストリーム処理エンジンStorm[Storm] How to start “Storm” – inet-lab
奈良で迎える初めての冬が想像以上に寒くて、原付での移動に辛さを感じ始めました．学生の方の松浦です． 最近はStormというストリーム処理エンジンを触っています．HadoopやS4などの既存CEPエンジンがフォーカスしていなかった領域をカバーするものとして注目されているものです． StormはGithub上でプロジェクトが公開されており、ライセンスの範囲であれば誰でも利用することが可能です． 本記事ではStormを始めてみるにあたっての手順を簡単にご紹介したいと思います． そもそもStormって？ StormはTwitter社のNathan Marz氏が開発したJVM上の分散処理フレームワークです．Stormの大きな特徴として 高速なストリームデータ処理 耐障害性 の2点がよく挙げられます（このような機能を実現している手法については、長くなるので参考URLの2件目などを参照していただければと
Stormの注目の新機能TridentAPI
1. Advanced Tech Night No.05 リアルタイム分散処理フレームワーク Stormの注目の新機能 Trident API 2012/09/20 Acroquest Technology 木村 宗太郎 2. 自己紹介 • 名前 ： 木村宗太郎 • 所属 ： Acroquest Technology • Twitter ： @kimutansk • 主な仕事： Androidサービス基盤開発、性能監視システム開発 • 趣味： 料理全般 （特にお菓子作り） 1 Advanced Tech Night 3. 目次 （A）そもそもStormって何？ （C）注目の新機能 1. Stormとは？ Trident API 2. Stormの６つの特長 8. これまでのStormの使い方 3. 類似プロダクトの比較 9. Trident APIとは？ （B）Stormの機能／構成 10
tjun月１日記
今年はいろいろあったので、書いておく。 仕事 2019年の前半はかなり頑張ったと思う。2018年4月にメルペイに入社してからSREとしていろいろ準備してきて、今年2月にメルペイをリリースできた。この1年、SREのエンジニアTech Leadとしての仕事とEMとしての仕事を両方やっていたので、それぞれ書いてみる。 SRE リリースが近づく前は設計したインフラをコード化して仕組みを作る作業と、リリースまでに必要なことをいろいろ整理してつぶしていくということをひたすらやっていた。Microservices Platform teamと協力してやることもあった。技術的な部分だけでなく、マイクロサービスの運用のための組織的な仕組みづくり、会社としての情報統制などいろいろなことをやってた。このときにいろいろ仕組みを作っておいてよかったと思う。 2018の年末から2月のリリースまではいろいろあってめちゃ
Storm
Storm is an open source distributed real-time computation system. It provides guarantees of processing data reliably in real-time. Storm allows for building real-time streaming data pipelines that process unbounded streams of data reliably. Key features include being distributed, fault-tolerant, guaranteeing message processing, and providing a high level abstraction over message passing.Read less
tjun月１日記
今年はいろいろあったので、書いておく。 仕事 2019年の前半はかなり頑張ったと思う。2018年4月にメルペイに入社してからSREとしていろいろ準備してきて、今年2月にメルペイをリリースできた。この1年、SREのエンジニアTech Leadとしての仕事とEMとしての仕事を両方やっていたので、それぞれ書いてみる。 SRE リリースが近づく前は設計したインフラをコード化して仕組みを作る作業と、リリースまでに必要なことをいろいろ整理してつぶしていくということをひたすらやっていた。Microservices Platform teamと協力してやることもあった。技術的な部分だけでなく、マイクロサービスの運用のための組織的な仕組みづくり、会社としての情報統制などいろいろなことをやってた。このときにいろいろ仕組みを作っておいてよかったと思う。 2018の年末から2月のリリースまではいろいろあってめちゃ
リアルタイム分散処理Stormの耐障害性は？ - Tech-Sketch
リアルタイム分散処理とは 「ビッグデータ」処理のためにHadoopを用いますと、「複数のマシンに大量データ処理を分散して飛躍的に性能を向上する」ことが容易に可能となります。 ところがHadoopの弱点としまして、ビッグデータをいったん蓄積し、バッチで一括処理する形態で処理が行われますので、処理データが発生してからそれに対する処理結果が得られるまで必ずタイムラグが発生します。このため、クレジットカードの不正アクセス検知、センサーデータなどでの異常値検出のようなリアルタイムなレスポンス(低レイテンシー)が要求されるビッグデータ分野へのHadoopの適用は向いておりません。 このような随時発生する大量データ（ストリーミングデータ）を、蓄積せずにリアルタイムに処理する「リアルタイム分散処理」が求められています。 今回は、リアルタイム分散処理のソリューションとしてTwitter社より公開された
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ツイッターStorm:オープンソースのリアルタイムHadoop
