Cloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前々回、Cloud Dataflow PythonSDKによるビッグデータ処理実装入門の記事にてPythonのSDKを使用したDataflowの基礎についてご紹介しましたが、今回はGCPの他のサービスとも連携した応用方法をご紹介します。 GCPの中でも、GCSについては既に基礎編でご紹介したので、応用編ではBigQuery、Datastore、そしてそれらのデータを処理するのに便利な機能についてご紹介します。 情報量が多くて途中混乱するかもしれませんが、最も大事なことはデータの入力、変換、結果の出力と保存にフォーカスすることです。手段に気を取られて目的を見失わないようにすることが何事も大事です。 SDKのアップデート方法 本題に入る前にSDKのアップデートを行いましょう。前回の記事執筆時の最新のS

Cloud Dataflow オールアバウトシステム部開発Gの@tajima_tasoです。 前回、Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築したの記事にて弊社がGCP上のサービスを利用して、No-Opsでのシステム基盤促進に取り組んでいるとご紹介させて頂きましたが、今回はその中のCloud Dataflowについてご紹介させて頂きます。 Cloud Dataflowの基礎 Cloud Dataflowを利用する為にはSDKを使用します。利用できるプログラミング言語としてはJavaとPythonがありますが、私のチームではDataflow SDK for Pythonを利用して、DataFlowでの処理を行っています。 なお、以下の説明では、公式ドキュメントの内容が十分な箇所については極力省略させて頂いておりますので、必要に応じて公式ド