はてなブックマーク

tl;dr GoogleはDataflowのテンプレートを提供しているよ コードはGitHubで見られるよ いくつかのテンプレートはJavaScriptで変換の処理を書けるよ JavaScriptの処理はNashornを使っているよ Google提供のDataflowテンプレートとは 名前の通り、Googleが提供していてるDataflowのテンプレートです。 これを使うことで、コードを（あまり）書かずに一定の処理が行えます。 提供されているテンプレートは、GCPのストレージ（GCS・Pub/Sub・Datastore・BigQuery・Spanner）間の移動を行うものが多く、例えば、 Pub/SubからBigQuery（ストリーミング） GCSからBigQuery（バッチ・ストリーミング両方） などがあります。 ちなみに、GCPのストレージ間移動以外のテンプレートとしては、Datast