Using Apache Beam and Dataflow for processing clickstream from Google Tag Manager | Google Cloud Blog
{"event_datetime":"2020-11-16 22:59:59", "event": "view_item", "user_id": "UID00003", "client_id": "CID00003", "page":"/product-67890", "page_previous": "/category-tshirts", "ecommerce": { "items": [{ "item_name": "Donut Friday Scented T-Shirt", "item_id": "67890","price": 33.75, "item_brand": "Google", "item_category": "Apparel","item_category_2": "Mens", ...}]}} Now that we know where our clicks
Scala + Scio で Apache Beam あるいは Google Cloud Dataflow に入門する - ブログ・ア・ラ・クレーム
Apache Beam データに対する ETL 処理を、様々なランタイムで同じコードで実行できるようにするものです。 これは Google Cloud Dataflow のモデルを元に OSS 化されたもので、バッチ処理とストリーム処理を（ほぼ）同じコードで実装できたり、 Hadoop や Spark 、 Dataflow など複数の実行環境に対応していたりします。 標準では Java と Python 向けの SDK が用意されていますが、前者はシンタックスが独特であり後者はまだ機能が乏しく、発展途上感が否めない部分があります。 本記事では Java SDK をラップしつつ機能追加をされた、 Spotify 製ライブラリ Scio を使って Apache Beam による ETL 処理の実装に入門してみようと思います。 そもそも標準の SDK はどんな感じ？ 公式ページのドキュメント が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
