Using Apache Beam and Dataflow for processing clickstream from Google Tag Manager | Google Cloud Blog
{"event_datetime":"2020-11-16 22:59:59", "event": "view_item", "user_id": "UID00003", "client_id": "CID00003", "page":"/product-67890", "page_previous": "/category-tshirts", "ecommerce": { "items": [{ "item_name": "Donut Friday Scented T-Shirt", "item_id": "67890","price": 33.75, "item_brand": "Google", "item_category": "Apparel","item_category_2": "Mens", ...}]}} Now that we know where our clicks
Dataflow template を使って Google Cloud Pub/Sub の中身を簡単に確認する
2021-11-05 PubSub に出力された結果を確認するのって、なかなか手間がかかりませんか? 最近同僚に簡単な確認方法を教えてもらい、感動したのでそれを記事にしました。 確認方法PubSub のメッセージを出力する Google Cloud Storage bucket を同一 GCP プロジェクトで作成する。GCP の Pub/Sub ページに移動する確認したい Pub/Sub topic をクリックするページ下部にある CREATE SUBSCRIPTION ボタンを押すと選択肢で、Create subscription, Export to BigQuery, Export to Cloud Storageがあり、 Export to Cloud Storageを選択する。BigQuery、 Google Cloud Storage への吐き出しを行い際に、自動的に subs
Use Dataflow Prime | Google Cloud
Send feedback Use Dataflow Prime Stay organized with collections Save and categorize content based on your preferences. Dataflow Prime is a serverless data processing platform for Apache Beam pipelines. Based on Dataflow, Dataflow Prime uses a compute and state-separated architecture. In the following cases, Dataflow Prime might improve pipeline efficiency: Your pipeline would benefit from Vertica
Cloud Composer & Dataflow によるバッチETLの再構築 #data_ml_engineering / 20190719
データとML周辺エンジニアリングを考える会#2の発表資料です。 https://data-engineering.connpass.com/event/136756/
メルペイにおける Dataflow Template の活用 | メルカリエンジニアリング
この記事は MERPAY TECH OPENNESS MONTH の9日目の記事です。 株式会社メルペイのSolutionチームでデータエンジニアをやっている @orfeon です。 この記事ではGCPのデータストアサービスやプロジェクトをまたいでデータを活用するためにメルペイで活用しているDataflow Templateについて紹介します。 メルペイでは各マイクロサービスで Cloud Spanner、BigQuery、Cloud Storage、Cloud SQL、Cloud Datastore など様々なGCPのデータストアサービスを活用しています。 マイクロサービスによってはこれらデータストアサービス間でデータを加工・移動して活用しなければならないこともあります。 例としては、Spannerから店舗ごとに売上を集計してCSVファイルとしてCloud Storageに保存してダウン
Scala + Scio で Apache Beam あるいは Google Cloud Dataflow に入門する - ブログ・ア・ラ・クレーム
Apache Beam データに対する ETL 処理を、様々なランタイムで同じコードで実行できるようにするものです。 これは Google Cloud Dataflow のモデルを元に OSS 化されたもので、バッチ処理とストリーム処理を（ほぼ）同じコードで実装できたり、 Hadoop や Spark 、 Dataflow など複数の実行環境に対応していたりします。 標準では Java と Python 向けの SDK が用意されていますが、前者はシンタックスが独特であり後者はまだ機能が乏しく、発展途上感が否めない部分があります。 本記事では Java SDK をラップしつつ機能追加をされた、 Spotify 製ライブラリ Scio を使って Apache Beam による ETL 処理の実装に入門してみようと思います。 そもそも標準の SDK はどんな感じ？ 公式ページのドキュメント が
Google Cloud Dataflow で Google BigQuery へストリーミング ETL するの巻 - おくみん公式ブログ
okumin.com のアクセスログを Google BigQuery で分析するために、ETL パイプラインを構築しました。 Apache Beam(Scio) + Google Cloud Dataflow を用いてログの加工及び BigQuery へのストリーミングインサートを行うという構成です。 この記事ではその全体像と個々のコンポーネントの簡単な説明を行います。 アーキテクチャ 次の流れで ETL を行っています。 Google Container Engine(GKE) 上に配置した Nginx コンテナのログを Stackdriver Logging へ集約 Stackdriver Logging のログを Google Cloud Pub/Sub のトピック「okumin-com-access-log-raw-v1」へエクスポート Google Cloud Dataflow
Cloud Dataflow(Python)をAppEngineから実行する - Qiita
(5/31 v2.0.0リリース後に更新) Cloud Dataflow Python版がようやくGAということでTemplate実行がPython版でもできるか試したところ、あらかじめ登録したパイプラインを(3/23時点でパラメータ渡しはまだできないものの)(5/31の2.0.0リリースでパラメータ渡しできるようになりました)AppEngineから起動することができたので手順を共有したいと思います。 Cloud Dataflow Template実行とは DataflowのパイプラインをあらかじめGCSに登録しておき、任意のタイミングで好きなパラメータを渡して登録したパイプラインを実行することができる機能です。AppEngine経由でTemplate実行を呼び出しすることで、パイプライン起動用のサーバを自分で立てたりすることなくデータ加工や分析用の処理をプログラムから簡単に実行できるよう
Google Cloud DataflowでTensorFlowのGrid Searchをしてみた - Qiita
小規模なデータセットで学習をさせる時、大まかな傾向を見るためにモデルのパラメータを振りたい時があります。scikit-learnにはGrid SearchとCross Validationを同時に行うGridSearchCVという名前そのまんまな便利機能がありますが、 これをTensorFlowでも、 リモートで並列に、 そして面倒な分散処理コードを書かずに Jupyter Notebookから簡単に やりたいですよね。 はい、Google Cloud Dataflowならそれができるんです！ 準備 ここは前回の記事とほぼ同じですが、モデルによってはマシンタイプを変えた方が良いでしょう。worker_options.machine_typeの部分で指定できます。 またnum_workersを指定するとautoscaleが無効にされるようです。今回は6を設定したので、workerが6つ一気に
Private Presentation
Private content!This content has been marked as private by the uploader.
ストリーム処理とは何か？＋2016年の出来事 - Qiita
この記事で書いている内容は？ ストリーム処理とはそもそも何かからはじまり、必要になる検討ポイントなどの情報を振り返り用にまとめたものです。 あとは、今年個人的にこの分野に影響が大きかったと思ったイベントをまとめています。 他の方へ説明する際のベースとするためにまとめているため、 既にこの分野を知っている方にとっては冗長な内容も多いかもしれませんが、 その場合は適宜読み飛ばしていただけると。 あと、私の他記事からも内容引っ張ってきているのでかぶりはあると思います。 特にGoogleが考えるストリームデータ処理とは？とは目的もかぶっているので相応に被りがあるかと・・・ 出来るだけよく出てくる固有の言葉を最初から使用せずに書いているつもりですが、 何かわかりにくい場所あればコメントいただけるとありがたいです。 「ストリーム処理」とだけ書くと微妙にストリーミング配信等とも混同しやすいですが、 デー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
DataflowTemplates/v2/cdc-parent at main · GoogleCloudPlatform/DataflowTemplates
Cloud Dataflow入門（Python SDK バッチ処理編）
Google Cloud Dataflowを理解する