AWS CLIでS3を操作するコマンドの一覧です。 AWS CLIのセットアップについてはこちらの記事をご覧ください。 環境 OS:macOS High Sierra 10.13.1
package s3test; import java.io.InputStream; import java.util.ArrayList; import java.util.List; import com.amazonaws.ClientConfiguration; import com.amazonaws.Protocol; import com.amazonaws.auth.AWSCredentials; import com.amazonaws.auth.AWSStaticCredentialsProvider; import com.amazonaws.auth.BasicAWSCredentials; import com.amazonaws.client.builder.AwsClientBuilder.EndpointConfiguration; import com.
背景 と述べるほどでもないが、AWS CLIのmvのドキュメントにははっきりと書かれていない。(実は(7)が最も近い) 結論 ない。ただし、--recursive オプションで、ファイル単位でmvすることができる。例 aws s3 mv s3://mybucket/folder1 s3://mybucket/folder2 --recursive 上記のコマンドを実行した場合、ファイル一つ一つをmvしてくれる。 mvも単なる名前の変更ではなく、内部でコピーするようで、ファイルのサイズに比例して時間がかかる。 ファイル(のサイズ)が膨大な場合、非常に時間がかかる。(例えば数時間から数日) 教訓 あとで変更しなくても良いようによく考えてファイル名をつけよう。 追記 2014/06/12 もうちょっと上記のコマンドが何をやっているのか見てみたい。 awscli/customizations/s3
http://spark.incubator.apache.org/docs/latest/ec2-scripts.html SparkではローカルファイルやHDFS上のファイル以外に、S3上のファイルもデータとして使用することができます。 読み込む際に、SparkContextにAWSのACCESS_KEYとSECRET_KEYを認識させる必要がありますが、ネット上では色々情報が錯綜していてちょっと良くわかりませんでした。 (Hadoopクラスタのcore-site.xmlに書くとか、S3のURLに含ませるとか) 0.8.1のSparkContext.scala(core/src/main/scala/org/apache/spark/SparkContext.scala)のソースを見てみたら、以下のようになっていました。 /** A default Hadoop Configurati
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く