エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Apache Flinkの分散スナップショットの方式 - Qiita
この記事は? この記事は、Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の... この記事は? この記事は、Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の18日目の記事です。 この記事で書いている内容は? Apache Flinkの分散スナップショットの方式についてです。 基となった情報はLightweight Asynchronous Snapshots for Distributed Dataflowsになります。 ただ、この論文の内容自体もある時点のスナップショットですので、 最新版ではこの事情が変わっていることも大いにあり得ますが、そこまでは確認できていませんのでご勘弁を。 読むのが面倒なのでまとめると? 入力に定期的にバリアマーカーを投入して、ストリームデータ処理をステージに区切るようにした。 各オペレータはバリアマーカーを受信したタイミングで該当入力チャネルからの
2017/03/03 リンク