とある事情でGCSからS3へ巨大なデータを転送する必要があり、かつ、それをGCPに慣れていない人向けにご連絡する必要がありまして、記録です。2019年9月版です。 前段:GCS→S3はレア?Amazon Web Service (AWS) の S3 と、Google Cloud Platform (GCP) の Google Cloud Storage (GCS) は両方ともクラウドストレージです。それぞれ一長一短ありつつも、便利でとっつきやすいサービスとしてかなり利用されていて、データ分析界隈でも巨大なデータはだいたいどちらかに置いてあります。 さて、このどちらを使っているかは、もともとどちらのプラットホームを使っているかにだいたい依存していると思うのですが、両者の間でデータを相互に行き来させることはしばしば発生するようで、「GCS S3 転送」などで検索すると沢山記事が出てきます。が、
![GCSからS3へのデータ転送 ~GCPに慣れていない人向け~|jinya nakamura](https://cdn-ak-scissors.b.st-hatena.com/image/square/f17cc86ea44dad02a2a40afb815e772c70f05e0a/height=288;version=1;width=512/https%3A%2F%2Fd2l930y2yx77uc.cloudfront.net%2Fproduction%2Fuploads%2Fimages%2F14513882%2Fpicture_pc_3b1d0a80e6098f6f8b2cad93c999be3e.png)