AWS LambdaでS3に配置されたファイルをgzipする - Qiita
大量のファイルをgzipしたものをS3に配置したいニーズがあって、非力な手元のマシンで一旦gzipしてから転送するよりはLambdaにやらせたらいいのではないか？ということでやってみました。 以下のようなLambda functionを設置 大きなファイル(数十MB以上)を扱う場合はtimeoutをデフォルトの3秒から伸ばす。メモリも128MBでは足りないことがあるので512MBなど S3の読み書き権限があるIAM Roleを設定 S3のイベント通知でLambda functionをkick aws s3 sync で大量のファイルを同期してもアップロードが終わったファイルから順番に処理が走るので、同期が終わった数秒後にはgzipされたファイルが生成されている状態になります。 var aws = require('aws-sdk'); var zlib = require('zlib');
AWS S3で異なるアカウントが所有するバケット間をsyncする - Qiita
アカウントが異なるS3 bucket間を aws s3 sync したい場合の設定例。 前提 account: A bucket: AAAA account: B bucket: BBBB があったとして、AAAA → BBBB に aws s3 sync をしたい。 設定 B が AAAA に対して読み取ることを許可するため、AAAA の bucket policy に以下のような設定をします。 [ACCOUNT-ID-B] は B の aws acccount id (12桁の数字) です。 要するに arn:aws:s3:::AAAA/* に対して s3:GetObject arn:aws:s3:::AAAA に対して s3:ListBucket を許可ですね。 { "Version": "2008-10-17", "Id": "Policy1406622286590", "Stat
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
