Private content!This content has been marked as private by the uploader.
Private Presentation
Private content!This content has been marked as private by the uploader.
Storm関連本とオススメ電子書籍 - Taste of Tech Topics
新年あけましておめでとうございます。ツカノ(@snuffkin)です。 今年最初のT3ブログですね。よろしくお願いします。 私はリアルタイム分散処理の仕事に携わっているため、昨年、こんな話題に興味を惹かれました。 CDHによるSparkのサポート AmazonからKinesisが登場 ImpalaやPrestoといった分散クエリの盛り上がり こういった傾向から、リアルタイム分散処理に関する機運の高まりを感じます。この調子だと、2014年はリアルタイム分散処理でアドベントカレンダーを立ち上げられるくらいの年になるのではと、期待しています。 さて、リアルタイム分散処理を行うプロダクトはSpark、Splunk、Storm等、様々あります。中でもStormは、このブログで特に取り上げてきました。そこで、今回はStorm関連本についてまとめてみました。 あっ、私が知らないだけで、他にもオススメの本
Amazon Kinesis + Storm を連携させて、ストリームデータ処理を行ってみた - Taste of Tech Topics
こんにちは。kimukimuです。 昨日はクリスマスイブでしたが、皆さんはどのように過ごされたでしょうか？ 私はケーキは買う派ではなく、自分で作る派です。……まぁ、食べるのも自分なのですが…… クリスマスはさておき、今日はKinesisとStormに関する内容です。 AWS re:Invent 2013 で 発表されたAmazon Kinesis が12/17にPublic Betaになり一般公開されましたね！ 以下のように、KinesisはStormのコネクタを含んでいる、ということなので、さっそく試してみましょう。 Kinesis does include a connector for porting data to Storm, which AWS General Manager for Data Science Matt Wood said is a possibility in
Kafka+Storm+Elasticsearch+Kibanaでストリームデータ処理の可視化を行ってみた - Taste of Tech Topics
こんにちは。kimukimuです。 AWS re:Invent 2013 で Amazon Kinesis が発表されるなど、 ストリームデータ処理に対するニーズの高まりを感じますね。 （Amazon Kinesis は、Stormとも連携できるようになっているようです）。 さて、先日、Storm 0.9.0 が正式リリースされたり、Apache Kafka 0.8.0 が正式リリースされたりしたので、 それらを連携して、ストリームデータの可視化を行うプロトタイプを作ってみました。 1. はじめに まず、「ストリームデータ」とは、連続的に発生し続けるデータのことを指します。 システムが出力するログやセンサーが発生するデータ、SNSなどで常時発生するメッセージなどが該当します。 今回は、Apacheが出力するログを、ストリームデータとして収集・可視化することを行ってみます。 1-1.やりたい
Hadoop/Storm の統合を実現する Twitter の SummingBird - Okapies' Archive
Twitter が SummingBird を正式リリースして早二ヶ月。「日本語の紹介記事がほとんど出てないな」と気付いたので、調査がてらまとめてみました。 SummingBird とは？ MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、ひとたび SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できること。 SummingBird では、Hadoop を使う「バッチモード」と、Storm を使う「リアルタイムモード」に加えて、二つを同時に実行する「ハイブリッドモード」がある。ハイブリッドモードでは、ジョブの作者が特に配慮しなくても、バッチとリアルタイムの処理結果を自動的にマージできる。 ハイブリッドモードでは、同じジョブを Hadoop と Storm で同時に実行できるので、Hadoop の耐障害性
Storm0.9.0-rc1で何が新しくなったの？ - Taste of Tech Topics
こんにちは。kimukimuです。 最近気温の変化が激しくて、夜暑くて夏の格好で寝ると途中で寒くて目が覚める・・・ というのが普通にある今日この頃です。 皆さんもお大事に。 さて、先週StormがApacheプロジェクトとなったことについて投稿しましたが、 Stormで大きなニュースがまた一つ出ました。 Storm0.9.0-rc1のリリースです。 rcで正式版ではないのか、という突っ込みもありますが、 このバージョンは「0.9.0正式版リリースに向けた最終リリース確認バージョン」という位置づけのため、 そう遠くないうちに正式な0.9.0としてリリースされることが見込まれます。 1.Storm0.9.0の新機能／変更 Storm-Nettyの登場 まず、もっとも影響の大きな機能変更点として、「通信レイヤをZeroMQとNettyどちらを使うか選択可能になった」があります。 これまではSto
In-Stream Big Data Processing
The shortcomings and drawbacks of batch-oriented data processing were widely recognized by the Big Data community quite a long time ago. It became clear that real-time query processing and in-stream processing is the immediate need in many practical applications. In recent years, this idea got a lot of traction and a whole bunch of solutions like Twitter’s Storm, Yahoo’s S4, Cloudera’s Impala, Apa
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
ØMQの何がすごいのか理解してみる。導入編 - Taste of Tech Topics
橋本です。 これから数回にわたってØMQについて取り上げていこうと思います。 書いている中の人の趣味趣向により「どう使いこなすか？」というより「どう作られているか？」に軸足を移した 内容になると思います。 私と同じく「Stormってどういう作りになっているんだろう？」とか「Hadoopのソース読んでたら１日終わってた！」という人向けの内容になります。 その分ある程度深くもぐろうと思いますので、よろしくお願いします。 ØMQの紹介 ØMQというのは簡単に言うと「並列処理でパフォーマンスを出すための通信フレームワーク」です。 2007年ごろから開発されているOSSとしては歴史あるソフトウェアなのですが、 Stormの通信レイヤの実装で一躍有名になったのではないでしょうか？ 少なくとも私はStormのソースコード公開で初めて知り、作り手の熱い思いにわくわくしたクチです。 "MQ"という文字が含ま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ninja 2.0.0 released!
ストリームデータ分散処理基盤Storm
Storm簡単インストーラにStorm0.8.2対応版を追加しました！ - Taste of Tech Topics