エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Google Cloud DataFlow + Pub/Sub でデータ処理環境を構築してみる
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Google Cloud DataFlow + Pub/Sub でデータ処理環境を構築してみる
仕事でCloud DataFlowを使った際に、ざっくり調べた入門的なまとめ。 データ処理畑の有識者ではないので... 仕事でCloud DataFlowを使った際に、ざっくり調べた入門的なまとめ。 データ処理畑の有識者ではないので、なにか記載に誤りなど あれば学びになるので教えていただけたら :) Cloud DataFlowって? GoogleCloudPlatformが提供するストリーム/バッチ方式でのデータ処理エンジン(Apache Beam)のフルマネージドサービスです。 と書くとなんのこっちゃ?って感じなので 大雑把に要素分解をすると ストリームデータ処理対応(ストリームデータについては後述) 任意のinput(pubsubやmysql,gcs)から得たデータの変換、GCS,BigQueryへのデータ流し込みをコードで書いてdeployするだけで実現できます。 Cloud/PubSubとの連携が容易。(beamSDKの呼び出しを1〜3行書くだけ) Java,PythonのSDKが提供されています