サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
ノーベル賞
www.kde.cs.tsukuba.ac.jp/~ohki
”その人の過去を知れば、その人を分かる”ようにストリーム処理エンジンの今までの流れを見直す。 そして、その流れの中でStreamSpinnerがどこに向かっていくのか? *引用は先生の報告書と先輩の発表。自分なりに噛み砕いたつもり ストリームデータに対する処理基盤としての研究は Models and Issues in Data Stream Systems の2002年の論文から始まる。(読んでないので、今度読もう!) 当初は既に普及している関係データモデルの概念にストリームデータを適応させて、その上で性能向上やメモリ使用量の制御などの研究が行われてきた。この時代を第一世代Stream Processing Engine(SPE)と呼ぶ。 第一世代のエンジンとしては、Aurora,STREAM,TelegraphCQ,NiagaraCQなどがある。これらのエンジンでは、データストリームを
○モデル 従来のDBMSではデータの書き込み、牽引、問合せ、計算処理、結果の出力の流れとなっており、短い期間に数千のデータイベントを受信する場合ではこのデータベース駆動型アーキテクチャではデータストリームに対応が出来ない。 In-MemoryDBでも同じ。In-Memoryでは書き込みコストはなくなるが、インバウンドイベントの牽引、問合せ、トランザクションの完全性優位などにより、データストリーム対応は困難。 そこで、イベント駆動型アーキテクチャのストリーム処理エンジンが登場。 データ到着すると、即座に問合せ、計算処理を行い結果を出力し、データベースへの書き込みは必要なものだけをデータ処理と並行もしくは結果出力後行われる。これにより、real-time処理が出来る。 このモデル(アーキテクチャ)のために、スケジューラ、プロファイラ、オプティマイザ、エグゼキュータ、ロードシェダー、メモリマネー
このページを最初にブックマークしてみませんか?
『www.kde.cs.tsukuba.ac.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く