2020年1月9日のブックマーク (1件)

  • Google Cloud Dataflow FAQ

    最終更新 2020-01-21 Cloud Dataflow とは、GCP のサービスのひとつです。 入力データを取り込み、加工し、出力することに特化したもので、いわゆる ETL と呼ばれるものです。 Cloud Dataflow は、なかなかにとっつきにくく、理解しづらいサービスです。当ページ管理人は Cloud Dataflow 導入においてすごく苦労しましたので、知識やノウハウを説明いたします。他の人が同じところではまらないよう願っております。 Google Cloud Dataflow 全般 Q. Cloud Dataflow とは何? A. Google Cloud Platform (GCP) のサービスのひとつ。入力データを加工し、出力することに特化したもの。いわゆる ETL。 Q. Dataflow を使うと何ができる? A. ファイルを読んで、加工して、ファイルに出力する

    yomon8
    yomon8 2020/01/09
    “ただし、リトライ時にウェイトを入れてくれたりはしないので、 ごくごく短時間の外部サービス障害ならば問題ないが、 長時間落ちていた場合などはジョブがエラー終了となる。 ちなみに、当ページ管理人の経験として