Cloud Dataflow PythonSDKによるビッグデータ処理実装応用 - オールアバウトTech BlogCloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前々回、Cloud Dataflow PythonSDKによるビッグデータ処理実装入門の記事にてPythonのSDKを使用したDataflowの基礎についてご紹介しましたが、今回はGCPの他のサービスとも連携した応用方法をご紹介します。 GCPの中でも、GCSについては既に基礎編でご紹介したので、応用編ではBigQuery、Datastore、そしてそれらのデータを処理するのに便利な機能についてご紹介します。 情報量が多くて途中混乱するかもしれませんが、最も大事なことはデータの入力、変換、結果の出力と保存にフォーカスすることです。手段に気を取られて目的を見失わないようにすることが何事も大事です。 SDKのアップデート方法 本題に入る前にSDKのアップデートを行いましょう。前回の記事執筆時の最新のS
