Cloud Dataflow for Java 雑多なノウハウ集 - 実装編 - Qiita

Google Cloud Dataflow に触る機会があったのですが、いまいちドキュメントが薄く、また自分が分散処理フレームワーク未経験だった事もあり、いろいろハマったので、得られた知見を書いておきます。 本記事は実装編ということで、Dataflow パイプラインのコードを書くに当たっての知見をまとめます。 なお Cloud Dataflow は Apache Beam の実行環境の1つという位置付けです。以下の内容は特に明記していない限り Apache Beam にも当てはまります。 確認した環境は Apache Beam SDK for Java 2.13.0 です。 想定読者は、Beam 関連のドキュメント、特に Beam Programming Guide を読んだことのある方、です。 Window FixedWindows や SlidingWindows の期間はキリが良い時

[takuya-a]

最近 Dataflow 触り始めたんだけど、この記事が無限に役に立ってる

[i101330]

そうだったのかー、ありがとうございます！“PubsubIO の読み込みではタイムスタンプを後付けで変更できない ”