IAM Roleでs3cmdを実行する（Centos 6.5） | iret.media
こんにちわ。cloudpack の 三浦 剛慈です。 suz-lab_centos-core-6.5.1(CentOS 6.5.1)にはs3cmdが標準インストールされています。 そのs3cmdを、アクセスキー・シークレットキーをconfigで指定せずに、IAM RoleでS3フルアクセス権が割当てられているEC2から実行すると ERROR: /etc/s3cfg/.s3cfg: No such file or directory とconfigファイルを探しに行って「無いよ」とエラーになりました。 バージョンを確認すると # s3cmd --version s3cmd version 1.0.1 と、IAM roleにまだ対応していないバージョンでした。 以下のようにs3cmdをバージョンアップしたら無事実行出来ました。 #yum --enablerepo epel-testing up
cloudpackブログ - s3cmdでリダイレクト機能を設定してみる
以前紹介した記事S3のWebサイトのリダイレクト機能をTelnetで確認してみたにて、 S3でWebサイトのリダイレクト機能がサポートされたことを実際に確認してみました。 下記のようにMetadata(ヘッダ)を付与することで、その機能を利用することができます。 コマンドライン(s3cmd)でも同じ事をしたいと思います。しかし、s3cmdでヘッダの追加の記事のように S3へのアップロード等でヘッダを追加する方法を紹介しましたが、同様に追加するヘッダのキーとして Website Redirect Locationをそのまま指定したところ、スペースがある等でうまくいきませんでした。 対策としましては、x-amz-website-redirect-locationを指定すればうまくいきます。 s3cmdの引数(オプション)は下記のようになり、実行すると上記のAWSマネジメントコンソールと 同じK
cloudpackブログ - S3ってなんじゃ？（s3cmd syncではなくinotify+s3cmd sync (or put)）
以前、S3ってなんじゃ？(s3cmd編)の記事を紹介しましたが、先日s3cmdで調査が必要な場面に遭遇したため、 今回はその件について紹介したいと思います。 ○問題 WEBサーバからS3へのファイル同期にs3cmdを使ったプロジェクトがありました。 しかし、linuxのサーバからS3へファイルを同期するのにs3cmdのsyncコマンドを使用しており、 その同期がとても遅いというのです。 ローカルで1ファイルを追加したとしても同期の度に数時間かかっているようでした。 確認してみたところ、同期対象のS3バケットに数百万という数のファイルが存在しており、 それが問題となっているようでした。 そこで、対処方法を調べてみました。 ○再現 まず、手元のEC2環境で同じ状況を再現してみます。 適当なディレクトリにgitからある程度サイズのあるプロジェクトをいくつかcloneします。 # mkdir /r
cloudpackブログ - m3.2xlarge上でs3cmd (& gnu paralell)でS3にアップロードしてみる
「s3cmd (& gnu paralell)で多重度を変えてS3にアップロードしてみる」の記事にて並列にプログラムを 実行することでS3へのアップロード時間の短縮を試しました。 EC2のスペックがt1.microの場合は、10MByteのファイルを30個アップロードするのに、 多重度を調整しても1/3程度(30秒から10秒)までしか短縮できませんでした。 1ファイル、平均1秒程度でアップロードしており、シリアルにアップロードすれば、 そのまま、30倍の30秒かかるのは計算通りですが、並列度を30にすれば、 30ファイル同時に1秒でアップロードするため、全体でも1、2秒でアップロードできるものと 想定していましたが、結果は異なりました。 推測ですが、EC2タイプ(t1.micro)のリソース、そのキャパシティ(制限？)による結果の可能性が高いと考え、 今回はよりスペックの高いタイプ、せっか
cloudpackブログ - s3cmd (& gnu paralell)で多重度を変えてS3にアップロードしてみる
「s3cmd (& xargs)で多重度を変えてS3にアップロードしてみる」の記事を書いたところ、 Facebookにて貴重なアドバイスを頂きました。 そこで今回、GNU parallelも試してみることにしました。 ダウンロード先は、GNU Project Archivesになります。 ○インストール前の準備 # yum -y install make ... # cd /usr/local/src/ # curl -OL http://ftp.gnu.org/gnu/parallel/parallel-20130122.tar.bz2 ... # bunzip2 parallel-20130122.tar.bz2 # tar xvf parallel-20130122.tar ... # cd parallel-20130122 ○./configureの実施 # ./configur
cloudpackブログ - s3cmd (& xargs)で多重度を変えてS3にアップロードしてみる
以前紹介した方法「Linuxで指定したサイズのファイルを指定した数だけ作成する」にて、10MByteのファイルを 30個用意します。 そしてs3cmdを使い、これらのファイルを様々なパターンでS3にアップロードしてみようと思います。 まずはsyncでアップロードします。 # time s3cmd --no-progress sync ./ s3://www.suz-lab.com/tmp/ File './test-000001' stored as 's3://www.suz-lab.com/tmp/test-000001' (10485760 bytes in 0.8 seconds, 12.33 MB/s) [1 of 30] ... File './test-000030' stored as 's3://www.suz-lab.com/tmp/test-000030' (1048
cloudpackブログ - s3cmdでmultipartオプションを利用してs3へアップロード
s3cmdで5GB以上のファイルをs3にアップロードする場合は、オプションでmultipart-chunk-size-mbを 指定する必要があります。 また、このmultipart-chunk-size-mbオプションはversion1.1.0以降で利用可能となります。 尚、2013年01月現在の最新バージョンをs3cmd : command line S3 clientのサイトで確認すると、 1.1.0-beta2となります。 （s3cmdのインストール方法はs3cmd 1.0.1をインストールの記事で紹介しています。） 実際のコマンドは以下のようになります。 /usr/bin/s3cmd sync --multipart-chunk-size-mb=5120 (ファイル名) s3://(s3バケット名) (ファイルを5GB毎に分割してアップロードします。) ファイルサイズが大きい為、当
cloudpackブログ - s3cmd実行時にエラー発生
s3cmdを利用することで、S3バケットへのファイルのアップロード・ダウンロードが可能となります。 しかし、s3cmd実行時に下記のようなエラーに遭遇しました。 The difference between the request time and the current time is too large. 原因を調査したところ、s3cmdコマンドを実行している、 Linuxサーバの時刻設定に若干のずれがありました。 Linuxの時刻設定を行ったところ、正常にアップロードができました。 やはり、NTPは入れた方がいいようです。 こちらの記事はなかの人（be_hase）監修のもと掲載しています。 元記事は、こちら
cloudpackブログ - s3cmd 1.0.1をインストール
現在、yumでs3cmdコマンドをインストールした場合、バージョン0.9.9.91がインストールされます。 しかし、CentOS6でバージョン0.9.9.91を利用すると、下記のWarningが出ます。 /usr/lib/python2.6/site-packages/S3/Utils.py:17: DeprecationWarning: the sha module is deprecated; use the hashlib module instead このWarningは、バージョン1.0.1をインストールすることで回避することができます。 s3cmdのバージョン1.0.1は、下記からダウンロードできます。 S3 tools – Browse /s3cmd at SourceForge.net インストールは解凍後、下記のコマンドにて行います。 python setup.py in
cloudpackブログ - RHEL5でs3cmdをインストール後のS3からファイルダウンロード
定期的にS3からファイルをダウンロードする仕組みを入れようと思ったところ、RHEL5は、デフォルトのyumでs3cmdをインストールすることができないため、RPMを探すか、epelを利用するか、ソースからのインストールをするかのいずれかの方法になります。 今回は、RPMでインストールする方法で進めたいと思います。 利用したRPMは、下記になります。 RedHat EL 5 s3cmd 0.9.9.91 rpm まず、RPMをダウンロードします。 wget ftp://ftp.univie.ac.at/systems/linux/fedora/epel/5/i386/s3cmd-0.9.9.91-1.el5.1.noarch.rpm そして、ダウンロード後にインストールを行います。 rpm -ivh s3cmd-0.9.9.91-1.el5.1.noarch.rpm あとは、s3cmdの導入
cloudpackブログ - S3ってなんじゃ？(s3cmd編)
今回は、S3にコマンドラインからアクセスするCLIツールs3cmdを利用してみたいと思います。 S3 toolsから最新のs3cmdをダウンロードします。 $ wget http://downloads.sourceforge.net/project/s3tools/s3cmd/1.0.1/s3cmd-1.0.1.tar.gz?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fs3tools%2Ffiles%2Fs3cmd%2F1.0.1%2F&ts=1311152465&use_mirror=jaist -o s3cmd-1.0.1.tar.gz そして、ダウンロードしたデータを展開してインストールします。 $ tar -xzvf s3cmd-1.0.1.tar.gz $ cd s3cmd-1.0.1 # python setup.py instal
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
