Google Cloud Dataflow で Google BigQuery へストリーミング ETL するの巻 - おくみん公式ブログ

okumin.com のアクセスログを Google BigQuery で分析するために、ETL パイプラインを構築しました。 Apache Beam(Scio) + Google Cloud Dataflow を用いてログの加工及び BigQuery へのストリーミングインサートを行うという構成です。 この記事ではその全体像と個々のコンポーネントの簡単な説明を行います。 アーキテクチャ 次の流れで ETL を行っています。 Google Container Engine(GKE) 上に配置した Nginx コンテナのログを Stackdriver Logging へ集約 Stackdriver Logging のログを Google Cloud Pub/Sub のトピック「okumin-com-access-log-raw-v1」へエクスポート Google Cloud Dataflow

[kimutansk]

Scio、Beam版に対応したので、Scala・Spark民でもDataflow使いやすくなっているんですよね。そしてDataflowは一定のマシンサイズが求められますか・・・