この記事は? この記事は、Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の18日目の記事です。 この記事で書いている内容は? Apache Flinkの分散スナップショットの方式についてです。 基となった情報はLightweight Asynchronous Snapshots for Distributed Dataflowsになります。 ただ、この論文の内容自体もある時点のスナップショットですので、 最新版ではこの事情が変わっていることも大いにあり得ますが、そこまでは確認できていませんのでご勘弁を。 読むのが面倒なのでまとめると? 入力に定期的にバリアマーカーを投入して、ストリームデータ処理をステージに区切るようにした。 各オペレータはバリアマーカーを受信したタイミングで該当入力チャネルからの