GCSからS3へのデータ転送 ～GCPに慣れていない人向け～｜jinya nakamuraとある事情でGCSからS3へ巨大なデータを転送する必要があり、かつ、それをGCPに慣れていない人向けにご連絡する必要がありまして、記録です。2019年9月版です。 前段：GCS→S3はレア？Amazon Web Service (AWS) の S3 と、Google Cloud Platform (GCP) の Google Cloud Storage (GCS) は両方ともクラウドストレージです。それぞれ一長一短ありつつも、便利でとっつきやすいサービスとしてかなり利用されていて、データ分析界隈でも巨大なデータはだいたいどちらかに置いてあります。 さて、このどちらを使っているかは、もともとどちらのプラットホームを使っているかにだいたい依存していると思うのですが、両者の間でデータを相互に行き来させることはしばしば発生するようで、「GCS S3 転送」などで検索すると沢山記事が出てきます。が、
