GCSへのファイル格納を契機にCloud FunctionsでDataflowをキックする - 其未来

はじめに 一つの前の記事で、GCSからBigQueryにファイルを送るDataflowを作った。 前の記事の状態では、Dataflowは手動で起動する必要があり、自動化ができていない。 そこで本記事では、GCSへのファイル格納を契機にDataflowをキックするCloud Functionsを作成する。 GCSからBigQueryへファイルを送るところにCloud Functionsを使う（≒Dataflowを使わない）方式もあるが、この方式だと大きいサイズのファイルを送る場合にCloud Functionsの実行時間の上限に引っかかるリスクがある。 そこで今回はCloud FunctionsからDataflowをキックする。 Dataflowの起動を自動化する方法は、Cloud Functionsの他にApp Engine, Cloud Composer, Compute Engineな