Embulkでローカルディスクを使わずにクラウドストレージにアップロードする - Qiita
embulk-output-commandからgsutilコマンドにデータを渡してストリーミングアップロードしてディスクレスにしてみた話。 embulkってなにって方はこちらから。 https://github.com/embulk/embulk Embulk(エンバルク)プラグインのまとめ 追記 2020-09-13 この記事の gsutil と embulk-output-command 行っていたストリーミングデータ転送処理をEmbulkプラグインで書きました。 https://github.com/irotoris/embulk-output-gcs_streaming なんでやったの EmbulkでMySQLやOracleからデータをBigQueryにデータ連携する際、データレイクとしてひとまずGoogle Cloud Storage（GCS）にファイルをアップロードしています。
