EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。
![大量データや新社会インフラを支える注目の技術「ストリームデータ処理」とは?](https://cdn-ak-scissors.b.st-hatena.com/image/square/528fda81eec5105d26610f1b40e6f4bd8c2b6396/height=288;version=1;width=512/https%3A%2F%2Fez-cdn.shoeisha.jp%2Flib%2Fimg%2Fcmn%2Flogo2.png)
Apache Storm is a distributed stream processing computation framework written predominantly in the Clojure programming language. Originally created by Nathan Marz[2] and team at BackType,[3] the project was open sourced after being acquired by Twitter.[4] It uses custom created "spouts" and "bolts" to define information sources and manipulations to allow batch, distributed processing of streaming
Spark Structured Streaming makes it easy to build streaming applications and pipelines with the same and familiar Spark APIs. Easy to use Spark Structured Streaming abstracts away complex streaming concepts such as incremental processing, checkpointing, and watermarks so that you can build streaming applications and pipelines without learning any new concepts or tools. spark .readStream .select($"
「Apache Flink」は、分散ストリーム処理プラットフォームのひとつのOSSです。 同類のモノとしては、「Apache Storm」や「Apache Spark Streaming」などがあります(同じApacheで、さすがに同類のモノを出し過ぎだろう、と私も思っています)。 他のプラットフォームとして異なる特長は、以下になります。 高パフォーマンス&低レイテンシ(真のストリーム処理が可能) 耐障害性に優れる(自動でイベント処理継続) ストリーム処理、バッチ処理の両方をサポートし、高レベルのAPIが提供されるAll-in-One構成 Flink Stack Flinkの全体像です。 ストリーム処理だけでなく、バッチ処理も可能であり、CEP(複合イベント処理)やML(機械学習)、SQLライクなAPIも提供しています。 この辺りは、Sparkと似ていますね。ただ、Sparkはバッチ処理か
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)NTT DATA OSS Professional Services
Why use Apache Storm? Apache Storm is a free and open source distributed realtime computation system. Apache Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing. Apache Storm is simple, can be used with any programming language, and is a lot of fun to use! Apache Storm has many use cases: realtime analytics, online m
こんにちは。 Hadoop 周辺をよく触っている T.O. です。 Hadoop 周辺をよく触っているので、最近 Hadoop 周辺を触ってきて得た話などを書いていきます。 ということで今回は、数あるストリーム処理エンジンの中のひとつ Apache Storm を少々触ってストリーム処理を書いてみよう、という話を。 Apache Storm とは ひとことで言えば、いわゆるストリーム処理エンジン。 以前、別のブログで Apache Apex について書きましたが、おおまかにはそれと同じカテゴリーに属するツールです。 例のごとく、詳しいことは 公式ドキュメントを熟読すればだいたいわかります(リンク先は 1.1.0 のもの)。 書籍は Amazon を調べれば多少見つかりますが、良書かどうかは不明です。このあたりの分野についてはウェブで英語で書かれたドキュメントを読むのが一番良いように思います
この記事には複数の問題があります。改善やノートページでの議論にご協力ください。 出典がまったく示されていないか不十分です。内容に関する文献や情報源が必要です。(2016年10月) 脚注による出典や参考文献の参照が不十分です。脚注を追加してください。(2016年10月) 大言壮語的な記述になっています。(2016年10月) 独自研究が含まれているおそれがあります。(2016年10月) 言葉を濁した曖昧な記述になっています。(2016年10月) 出典検索?: "ストリーム・プロセッシング" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL ストリーム・プロセッシング (英: stream processing) は、並列処理を実現するプログラミング手法の一つである。ストリームプロセッシングを用いることにより
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く