pythonを利用したS3とEC2内一時ディレクトリのファイルやり取り - Qiita

はじめに オンプレ環境のGPUを持っていないので、私はAWSでGPUインスタンスを立ててディープラーニングを行っている。 学習データを利用する際、EC2内に一時ディレクトリを作成して、そこにS3から学習データをダウンロードして使うことで、以下のような利点が得られるんじゃないかと思ったので、紹介する。 EC2インスタンス上にデータを入れっぱなしにしておくよりも、プログラムの実行が終わった際にEC2インスタンスからデータが消去される、かつS3に出力結果が上がるため、セキュリティの強化、出力結果紛失の危険性低減、EBS（ストレージ）の節約になる。 この記事では、EC2インスタンス内に一時ディレクトリを作成し、そこにS3からファイルをダウンロードする。 そして、一時ディレクトリからS3へのアップロードするまでを目指す。 必要作業 EC2にIAMロールの設定 pythonモジュールのインストール(p