S3 sync で s3からファイルを同期させる時の注意点 | DevelopersIO
はじめに s3 sync で作業をしていた際に、同期されるはずのファイルが同期されなかったので調査してみました。 事象 s3にアップロードしたファイルをローカルに同期させる際に同期されないファイルがあった。 s3にアップロードしたdocument.txtをローカルに同期する s3にアップロードしたファイル $ aws s3 ls s3://test.takahashi.yusuke/ 2015-06-26 18:56:05 4847 document.txt 現在のローカルのファイル $ ll ~/docs/ total 16 drwxr-xr-x 3 takahashiyusuke staff 102 6 25 13:17 . drwxr-xr-x+ 60 takahashiyusuke staff 2040 6 25 13:16 .. -rw-r--r-- 1 takahashiyus
AWS CLIで使える認証情報とオプションの設定方法まとめ | DevelopersIO
西澤です。AWS CLIで複数環境を操作していると、今使っている認証情報が一体何だったのかわからなくなってしまうことはないでしょうか？当たり前のように使いこなしている方も多いのかもしれませんが、情報整理も兼ねて、AWS CLIで利用できる認証情報と一般オプションの設定方法について整理してみたいと思います。 AWS コマンドラインインターフェイス | AWS AWS CLIで利用する認証情報とオプション 今回話題にするのは、AWS CLIで利用する認証情報の設定方法がメインです。具体的には、下記の3つです。 認証情報の要素 access_key secret_key token(一時認証を利用の場合のみ) 合わせて関連する下記の一般オプションも、同時に確認することが可能です。 一般オプションの要素 profile region output これら合計6つの要素の設定方法とその確認方法を以下
S3にアップロード時のpermission | technote
awscliを使用時において表題の通り。たまに忘れるのでメモ。 ■ 環境 awscli 1.8.6 ■ S3にファイルをアップロード awscliでファイルをS3にアップロードするとき、下記のようにしている。 $ aws s3 cp ./testfile.txt s3://withsin/testfile.txt この状態でアップロードされたファイルのアクセス許可(permission)は下記の通り。 ■ –acl `aws s3 cp`コマンドには`–acl`オプションがあり、下記を指定することができる。 private public-read public-read-write authenticated-read bucket-owner-read bucket-owner-full-control log-delivery-write ちなみに、その他の文字列を渡すと下記のようにエ
s3cmdじゃなくてawscli s3を使おう～IDCFクラウドオブジェクトストレージでも | 稲葉サーバーデザイン
awscli s3のほうが、40%ぐらい速いという結果となりました。 1GBのファイル転送で71秒というのは、1024MB/71sec = 14.4MB/sec = 115.4Mbps ということで、これはIDCFクラウド S1のネットワーク帯域の上限なのかな、と感じました。 そうであれば、転送元のネットワーク状況によっては、もっと速くなるでしょう。 実際、先述の記事の場合は、同じ1GBのファイルを16秒で転送完了していますね。 なお、s3cmdのConfigは、デフォルトで、マルチパートアップロードで分割する際のサイズは15MB、送信チャンクサイズ65536となっています。 -- ~/.s3cfg multipart_chunk_size_mb = 15 send_chunk = 65536 -- awscli s3では、マルチパートに分割する際のサイズはデフォルトで8MBです。 （参考
AWS CLIのS3コマンドまとめ - TASK NOTES
普段 AWS CLI を使うことはそんなにないんですが、S3 コマンドだけはよく使うのでまとめました。といっても全てではなく、ファイルやディレクトリ操作に関する部分です。 基本コマンド AWS CLI の S3 コマンドは以下の形式で実行します。 aws s3 <Command> [<Arg> ...] 基本的に Arg の箇所はパスを入力することになるのですが、ローカルのパスは「ローカルファイルまたはディレクトリの絶対パスまたは相対パス」、S3のパスは「s3://<bucket>/<prefix>/<object>」となります。prefix とはディレクトリやフォルダのイメージです。 Command Description cp オブジェクトのコピー ls オブジェクトの一覧 mb S3バケットの作成 mv オブジェクトの移動 rb S3バケットの削除 rm オブジェクトの削除 sync
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
