エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Cloud Composer(Airflow)でGCSFileTransformOperatorを使ってみる | DevelopersIO
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Cloud Composer(Airflow)でGCSFileTransformOperatorを使ってみる | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 最近データパイプラインツールとしてGoogleCl... はじめに データアナリティクス事業本部のkobayashiです。 最近データパイプラインツールとしてGoogleCloudのCloud Composer(Airflow)をよく使っているのですが、Google Cloud Storage(以降GCS)上のファイルを加工してから次の工程へ流す場合に使われるオペレータを使ってみたのでその内容をまとめます。 Cloud Composer | Google Cloud GCSFileTransformOperator GCS上のファイルをソースとしてそのファイルを加工してから再度GCSへアップロードする用途としてGCSFileTransformOperatorがあります。このオペレータはソースであるGCS上のファイルをローカルに一時的に保存してから変換スクリプトにてファイを変換し、変換後に再びGCSへアップロードするといった処理を行います。出力