[B! Cloud Dataflow] ptiringoのブックマーク

Creating a template for DataFlow throws the error AttributeError: 'RuntimeValueProvider' object has no attribute 'tableId'

ptiringo 2020/02/13

Cloud Dataflow

リンク

RuntimeValueProviderError when creating a google cloud dataflow template with Apache Beam python

ptiringo 2020/02/13

Cloud Dataflow

リンク

Cloud ComposerからDataflowTemplateOperatorでwordcountジョブを実行する - YOMON8.NET

Cloud Composer(Airflow)からDataflow TemplateOperatorの使い方がわからなかったので調べました。 Dataflowテンプレート登録コード作成コンパイル＋アップロード Cloud ComposerのDAG作成 DAG定義スクリプト作成 AirflowのVariables設定 DAGファイルのインポート参考URL Dataflowテンプレート登録 Dataflow TemplateOperatorは名前の如くDataflowのテンプレートという、ジョブの実行情報の定義体みたいなものを指定してジョブを実行します。以下の公式ドキュメントを参考にDataflowのテンプレートを作成し、GCSにアップします。 https://cloud.google.com/dataflow/docs/guides/templates/creating-template

ptiringo 2020/01/30

リンク

CloudDataflowをPythonで触ったので、その時のメモ - Qiita

ちょっとGCPを触る機会があったので、そのメモです。結構よくあるケースだから記事がなかったのか、自分のスキルが雑魚なのか。あまり日本語の記事もなかったので、きっといつか誰かの役に立つはず。クエリとかは実際からはシンプルに修正してます。やったこと GCSからデータを取得してちょっと加工する加工したデータをBigQueryにアップロードする GCSのデータをアーカイブする BigQueryからSQLでデータを取得 BigQueryの別のテーブルにロードする実行環境 PC:MacBook Pro OS:Mac OS High Sierra 言語：Python2.7 フレームワーク：Apache Beam SDK 環境セットアップセットアップとか、サンプルの実行はこちらを参考にしました。メイン処理と引数 parserで引数を設定します。 PipelineOptionｓを生成して