[B! gcp][dataflow] clavierのブックマーク

Dataflow template を使って Google Cloud Pub/Sub の中身を簡単に確認する

2021-11-05 PubSub に出力された結果を確認するのって、なかなか手間がかかりませんか? 最近同僚に簡単な確認方法を教えてもらい、感動したのでそれを記事にしました。確認方法PubSub のメッセージを出力する Google Cloud Storage bucket を同一 GCP プロジェクトで作成する。GCP の Pub/Sub ページに移動する確認したい Pub/Sub topic をクリックするページ下部にある CREATE SUBSCRIPTION ボタンを押すと選択肢で、Create subscription, Export to BigQuery, Export to Cloud Storageがあり、 Export to Cloud Storageを選択する。BigQuery、 Google Cloud Storage への吐き出しを行い際に、自動的に subs

clavier 2021/11/07

[CloudPub/Sub]

リンク

Use Dataflow Prime | Google Cloud

Send feedback Use Dataflow Prime Stay organized with collections Save and categorize content based on your preferences. Dataflow Prime is a serverless data processing platform for Apache Beam pipelines. Based on Dataflow, Dataflow Prime uses a compute and state-separated architecture. In the following cases, Dataflow Prime might improve pipeline efficiency: Your pipeline would benefit from Vertica

clavier 2021/09/23

dataflow
GCP

リンク

https://jp.techcrunch.com/2020/02/22/2020-02-18-how-spotify-ran-the-largest-google-dataflow-job-ever-for-wrapped-2019/

clavier 2020/02/23

リンク

DataflowTemplates/v2/cdc-parent at main · GoogleCloudPlatform/DataflowTemplates

This directory contains components for a Change-data Capture (CDC) solution to capture data from an MySQL database, and sync it into BigQuery. The solution relies on Cloud Dataflow, and Debezium, an excellent open source project for change data capture. To implement the CDC solution in this repository: Deploy a Debezium embedded connector for MySQL Start a Dataflow pipeline that syncs MySQL and Bi

clavier 2020/02/11

中身Debezium

リンク

メルペイにおける Dataflow Template の活用 | メルカリエンジニアリング

この記事は MERPAY TECH OPENNESS MONTH の9日目の記事です。株式会社メルペイのSolutionチームでデータエンジニアをやっている @orfeon です。この記事ではGCPのデータストアサービスやプロジェクトをまたいでデータを活用するためにメルペイで活用しているDataflow Templateについて紹介します。メルペイでは各マイクロサービスで Cloud Spanner、BigQuery、Cloud Storage、Cloud SQL、Cloud Datastore など様々なGCPのデータストアサービスを活用しています。マイクロサービスによってはこれらデータストアサービス間でデータを加工・移動して活用しなければならないこともあります。例としては、Spannerから店舗ごとに売上を集計してCSVファイルとしてCloud Storageに保存してダウン

clavier 2019/05/31

リンク

Cloud Dataflow入門（Python SDK バッチ処理編）

ver1.1 2017/11/18

clavier 2017/11/21

dataflow
GCP

リンク

Cloud Dataflow(Python)をAppEngineから実行する - Qiita

(5/31 v2.0.0リリース後に更新) Cloud Dataflow Python版がようやくGAということでTemplate実行がPython版でもできるか試したところ、あらかじめ登録したパイプラインを(3/23時点でパラメータ渡しはまだできないものの)(5/31の2.0.0リリースでパラメータ渡しできるようになりました)AppEngineから起動することができたので手順を共有したいと思います。 Cloud Dataflow Template実行とは DataflowのパイプラインをあらかじめGCSに登録しておき、任意のタイミングで好きなパラメータを渡して登録したパイプラインを実行することができる機能です。AppEngine経由でTemplate実行を呼び出しすることで、パイプライン起動用のサーバを自分で立てたりすることなくデータ加工や分析用の処理をプログラムから簡単に実行できるよう

clavier 2017/03/23

リンク

Google Cloud DataflowでTensorFlowのGrid Searchをしてみた - Qiita

小規模なデータセットで学習をさせる時、大まかな傾向を見るためにモデルのパラメータを振りたい時があります。scikit-learnにはGrid SearchとCross Validationを同時に行うGridSearchCVという名前そのまんまな便利機能がありますが、これをTensorFlowでも、リモートで並列に、そして面倒な分散処理コードを書かずに Jupyter Notebookから簡単にやりたいですよね。はい、Google Cloud Dataflowならそれができるんです！準備ここは前回の記事とほぼ同じですが、モデルによってはマシンタイプを変えた方が良いでしょう。worker_options.machine_typeの部分で指定できます。またnum_workersを指定するとautoscaleが無効にされるようです。今回は6を設定したので、workerが6つ一気に