タグ

flinkに関するnowokayのブックマーク (3)

  • Apache Flink とは? - Qiita

    「Apache Flink」は、分散ストリーム処理プラットフォームのひとつのOSSです。 同類のモノとしては、「Apache Storm」や「Apache Spark Streaming」などがあります(同じApacheで、さすがに同類のモノを出し過ぎだろう、と私も思っています)。 他のプラットフォームとして異なる特長は、以下になります。 高パフォーマンス&低レイテンシ(真のストリーム処理が可能) 耐障害性に優れる(自動でイベント処理継続) ストリーム処理、バッチ処理の両方をサポートし、高レベルのAPIが提供されるAll-in-One構成 Flink Stack Flinkの全体像です。 ストリーム処理だけでなく、バッチ処理も可能であり、CEP(複合イベント処理)やML(機械学習)、SQLライクなAPIも提供しています。 この辺りは、Sparkと似ていますね。ただ、Sparkはバッチ処理か

    Apache Flink とは? - Qiita
  • Apache Flinkを試している - Tech Notes

    耐障害性と拡張性のあるストリーム処理基盤が欲しい、と思ってApache Flinkを調べている. 今はリアルタイム集計にNorikraを使っていて、これはとてもカジュアルに使えて良いのだけど、以下の様なケースだと難しい。 比較的止めたくない処理で、サーバ障害時にも自動的に回復して欲しい 1日とか長いtime windowの集計をしているので、途中でサーバが落ちて集計中の状態が失われると辛い トラフィックが増えてきて、複数サーバに負荷を分散したい 例えばストリームに含まれているIDに対応する値を外部のテーブルから取ってくるような、ちょっと複雑な処理をしたい Flinkとはどのようなソフトウェアか 一言で言うと、対障害性と拡張性を備えた、分散ストリーム処理基盤。バッチ処理もストリーム処理の仕組みでできるよね、ということでバッチ用、ストリーム用両方のAPIが提供されている。実行環境としては、Ha

  • Apache Flinkを用いたデータストリーミングアーキテクチャ

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    Apache Flinkを用いたデータストリーミングアーキテクチャ
  • 1