タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

DataflowとPythonに関するclavierのブックマーク (1)

  • Cloud Dataflow(Python)をAppEngineから実行する - Qiita

    (5/31 v2.0.0リリース後に更新) Cloud Dataflow Python版がようやくGAということでTemplate実行がPython版でもできるか試したところ、あらかじめ登録したパイプラインを(3/23時点でパラメータ渡しはまだできないものの)(5/31の2.0.0リリースでパラメータ渡しできるようになりました)AppEngineから起動することができたので手順を共有したいと思います。 Cloud Dataflow Template実行とは DataflowのパイプラインをあらかじめGCSに登録しておき、任意のタイミングで好きなパラメータを渡して登録したパイプラインを実行することができる機能です。AppEngine経由でTemplate実行を呼び出しすることで、パイプライン起動用のサーバを自分で立てたりすることなくデータ加工や分析用の処理をプログラムから簡単に実行できるよう

    Cloud Dataflow(Python)をAppEngineから実行する - Qiita
  • 1