タグ

ブックマーク / www.kde.cs.tsukuba.ac.jp/~ohki (1)

  • 理修棟生活 | ストリーム処理基盤

    ○モデル 従来のDBMSではデータの書き込み、牽引、問合せ、計算処理、結果の出力の流れとなっており、短い期間に数千のデータイベントを受信する場合ではこのデータベース駆動型アーキテクチャではデータストリームに対応が出来ない。 In-MemoryDBでも同じ。In-Memoryでは書き込みコストはなくなるが、インバウンドイベントの牽引、問合せ、トランザクションの完全性優位などにより、データストリーム対応は困難。 そこで、イベント駆動型アーキテクチャのストリーム処理エンジンが登場。 データ到着すると、即座に問合せ、計算処理を行い結果を出力し、データベースへの書き込みは必要なものだけをデータ処理と並行もしくは結果出力後行われる。これにより、real-time処理が出来る。 このモデル(アーキテクチャ)のために、スケジューラ、プロファイラ、オプティマイザ、エグゼキュータ、ロードシェダー、メモリマネー

  • 1