S3でBucketまるごとコピーする方法 - Qiita
S3でBucket引っ越ししたい時とかに使えます。「Bucket名のアルファベットミスってた恥ずかしい！」とか「ドメイン割り当てようと思ったけどBucket名変えないと出来ないじゃん！」とかの時にご利用ください。 前準備 AWSCLIをインストール（http://docs.aws.amazon.com/ja_jp/kinesis/latest/dev/kinesis-tutorial-cli-installation.html） IAMでS3をコントロールできるユーザーを用意 (http://blog.fenrir-inc.com/jp/2013/01/amazon-s3-iam.html) 上記ユーザーでアクセスキーを作成 aws configure で上記アクセスキーを設定（http://qiita.com/takechika/items/c430bf633eada3aaa82f） 移
Amazon S3 インベントリ - Amazon Simple Storage Service
Amazon S3 では、Amazon S3 内のすべてのバケットの基本レベルの暗号化として、Amazon S3 が管理するキー (SSE-S3) によるサーバー側の暗号化が適用されるようになりました。2023 年 1 月 5 日以降、Amazon S3 にアップロードされるすべての新しいオブジェクトは、追加費用なしで、パフォーマンスに影響を与えずに自動的に暗号化されます。S3 バケットのデフォルト暗号化設定と新しいオブジェクトのアップロードのための自動暗号化ステータスは、AWS CloudTrail ログ、S3 インベントリ、S3 ストレージレンズ、Amazon S3 コンソール、および AWS Command Line Interface と AWS SDK の追加の Amazon S3 API レスポンスヘッダーとして利用できるようになりました。詳細については、「Default en
【新機能】CloudTrailでS3オブジェクトレベルのアクセスをロギングする | DevelopersIO
こんにちは、虎塚です。 先日のAWSアップデートによって、CloudTrailでS3オブジェクトレベルのロギングができるようになりましたので、ご紹介します。 これまでもS3バケットレベルでの操作はCloudTrailで記録できましたが、オブジェクトへのアクセスのロギングはサポートされていませんでした。 今回のアップデートで、S3オブジェクトのPutやDeleteといった操作がCloudTailで追跡、記録できるようになりました。 S3オブジェクトレベルのロギングの概要 今回のアップデートに伴い、CloudTrailにイベントセレクタという新しい概念が登場しました。次の流れでイベントを捕捉し、ロギングします。 アカウント内でなんらかのイベントが起きる CloudTrailが全trailでイベントセレクタを評価する 各trailは、イベントセレクタの設定にしたがってロギングする (S3バケット
AMAZON S3でSSL対応の静的ウェブサイトを公開する | マジメナラボ - majimena Inc.
2016年1月から、AWSで無料のSSL証明書が発行できるようになりました。企業のコーポレートサイト等の静的サイトでも、SSL化するのが一般的になりつつありましたが、無料でSSL証明書が取得できるようになったことで、SSL化しない理由がなくなりました。やっておくと、少し詳しい人にも、それっぽく見えますし（笑） やりたいこと AWSのS3上にコーポレートサイトを作っておいて、Certificate ManagerでSSL証明書を発行して公開するっていうのが、ほとんど無料に近い金額でできるようになります。じゃあ、やっておこう。ひと昔前では考えられなかったようなリッチな構成が、ほとんど無料！すごい時代になったもんだ。 で、以下がやりたいことです。４つ目は、SEO対策的なアレです。 S3上にコーポレートサイト（静的サイト）を作る 独自ドメイン（ここでは、example.comとします）で公開する
【AWS】Amazon S3をFTP/SFTPサーバーのように使ってみた | DevelopersIO
今回の課題 こんにちは植木和樹です。本日のお題は「現在運用しているFTP/SFTPサーバーをAmazon S3でリプレースしたい」です。 外部関係業者とのファイルのやりとりにFTP/SFTPサーバーを使っているケースは数多くあると思います。社内にあまったパソコンにLinuxをインストールしてFTPサーバーを自前で運用していることもあるかもしれません。しかしデータのバックアップやハードウェアの故障などで手を取られている担当者の方がいらっしゃるのではないでしょうか。 そんな時はAmazon S3。99.999999999% の堅牢性と、99.99% の可用性を提供するストレージサービスです。 しかしFTPは長い運用実績の歴史があるサービスです。FTPで求められる様々な運用ニーズにS3はどこまで応えられるでしょうか？今回はその点を検証してみました。 FTPに求められる要望 以下にいくつかの代表的
Amazon Athena で S3 Access Log を分析する - tech.guitarrapc.cóm
re:Invent 2016 は AWS の利用が一段回上に上がる素晴らしい発表が多かったです。さて今回取り上げるのは Athena です。 Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services ブログ すでに素晴らしい資料があるのでそちらをご参照ください。ざっくり個人的な理解は、Google BigQuery の AWS版 という雑な印象です。 What's Amazon Athena? - re:Growth 2016 Osaka from Ganota Ichida www.slideshare.net data.gunosy.io 今回は S3 を Static website hosting している場合の S3 アクセスログを Athena で分析してみましょう。ELBとか CloudTrail はある
Amazon CloudWatch によるメトリクスのモニタリング - Amazon Simple Storage Service
Amazon S3 の Amazon CloudWatch メトリクスは、Amazon S3 を使用するアプリケーションのパフォーマンスを理解して向上させるのに役立つことがあります。Amazon S3 で CloudWatch を使用する方法は複数あります。 バケットの日次ストレージメトリクス バケットストレージは、CloudWatch を使用してモニタリングできます。これは、Amazon S3 からのストレージデータを収集し、読み取り可能な日次のメトリクスに加工します。これらの Amazon S3 のストレージメトリクスは 1 日に 1 回報告され、すべてのお客様に追加料金なしで提供されます。 リクエストメトリクス Amazon S3 リクエストをモニタリングし、オペレーションの問題をすばやく特定して対応します。メトリクスは、処理のレイテンシーの後に 1 分間隔で使用できます。これらの
S3 ストレージ管理アップデート – 分析、オブジェクトのタグ付け、インベントリ、メトリクス | Amazon Web Services
Amazon Web Services ブログ S3 ストレージ管理アップデート – 分析、オブジェクトのタグ付け、インベントリ、メトリクス 本日、皆様がお持ちのストレージとそのアクセスパターンを詳しく知るための 4 つの S3 機能についてご説明したいと思います。何をどのくらい保管しているのか、どのように使用しているのかを知ることができ、その結果として、S3 ストレージクラスの使用に関する情報に基づいた意思決定を行うことができます。これらの機能は、バケットに何十万、何千、何百万、何十億というオブジェクトを持っていても、S3 を使用するすべての人にとって価値があります。 以下が概要です： S3 分析 – オブジェクトの格納状況と取得パターンを分析し、その結果を使って、最適なストレージクラスを選択することができます。あなたは S3 コンソールで表示される分析の結果を検査したり、お好みの BI
cloudpackブログ - S3/CloudFrontのレスポンスヘッダ
すぐに確認できるよう、メモとしてブログに残しておきます。 まずは設定の変更をしていないS3です。 【リクエスト】 GET /cdn.suz-lab.com/sample.txt HTTP/1.1 Host: s3.amazonaws.com User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:2.0.1) Gecko/20100101 Firefox/4.0.1 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: ja,en-us;q=0.7,en;q=0.3 Accept-Encoding: gzip, deflate Accept-Charset: Shift_JIS,utf-8;q=0.7,*;q=0.7 Ke
S3を使う時のベストプラクティス（を訳してみた） - サーバーワークスエンジニアブログ
最近子どもの水いぼを取る際に、麻酔テープが健康保険適応内である事を知った小室＠福岡です。 AWSのドキュメントの一つに、Articles & Tutorialsという物が有ります。これはAWSの中の人、また使っているユーザーがこのように使うといいよ、とAWSをよりよく使える方法を教えてくれる場所です。 サーバーワークスでは、日々のAWSのドキュメントの確認だけではなく、このようなArticles & Tutorialsを読みより深くAWSのサービスについて理解を深めようと個々に担当し、社内発表会を行っています（始めたばかりだけどね！）。 今回私が訳してみたのはこちらです。 Best Practices for Using Amazon S3 この記事は2008年に投稿(更新2009年)されており、現在とは少し違うかもしれませんが、とても参考になりましたので、ご紹介したいと思います。 ※これ
S3にアップロードされた画像にCache-Controlを付ける方法3選 - Qiita
はじめに 某WebメディアをGoogleのPageSpeed Insightsにて解析したところ、「画像にCache-Controlが設定されてないぞ」と怒られました。メディア内の記事には大量の画像が使われていて、それらの画像はS3にアップロードされたものを直接参照しています。 CloudFront使えよと言われて片付けられそうな案件ですが、リリース時からそんな準備万端で始められるような事業ばかりでもないわけです。既存のシステムをCloudFrontで置き換えようと思うと、もちろん画像のURLも変更されます。それに伴いシステムにも改修は入りますし、記事内に埋め込まれた画像のURLを頑張って置換する必要があります。ちょっとそれ時間かかる、ということで暫定的にS3に置いたコンテンツにCache-Controlを付けてみました。 これ書いてるうちに結局CloudFrontに移行したけどまあいいや
HTML フォーム (AWS 署名バージョン 2) - Amazon Simple Storage Service
Amazon S3 と通信する場合、通常は REST API または SOAP API を使用して、put、get、delete などのオペレーションを実行します。POST では、ユーザーはデータをブラウザから Amazon S3 に直接アップロードします。SOAP API の処理や REST の PUT リクエストの作成は行えません。 SOAP のサポートは HTTP 経由では廃止されましたが、HTTPS 経由では引き続き利用可能です。Amazon S3 の新機能は SOAP でサポートされていません。SOAP の代わりに、REST API か AWS SDK を使用することをお勧めします。 ユーザーがブラウザを使用してコンテンツを Amazon S3 にアップロードできるようにするには、HTML フォームを使用します。HTML フォームは、フォーム宣言とフォームフィールドで構成されます
ブラウザからS3に直接アップロード（Security Token Service利用） - Qiita
ブラウザのJavaScriptから直接S3にアップロードする方法。 サーバサイドに実サーバがあれば、サーバにアップ=>サーバからS3にアップするのが何も考えなくていいので楽だと思うのですが、AWS API Gateway / lambda等を使うシステムだと、そういう中継ができないので、大きなファイルなどをアップロードする場合はブラウザから直接S3にアップロードする形が必須になります。 そんな時に必要な手順を調べました。 軽く調べてみると、 JavaScript内にAWSのAccessKey/SecretKeyを埋め込んで、aws-sdk経由でアップロード サーバサイドでS3の編集権限のあるユーザでS3の署名付きURLを取得し、ブラウザサイドに送る サーバサイドでS3の編集権限のある時限ロールをSecurity Token Service（以下STS)で取得、それによりS3の署名付きURL
[AWS] ブラウザからダイレクトで S3 に画像をアップロードする | DevelopersIO
S3 にブラウザから直接ファイルをアップロードする方法について試してみました。 S3 には直接 POST でアップロード可能なので、HTML の Form を使ってアップロードを行います。 この際に、Policy と Signature というものが必要で、これらをアップロードしたファイルと同時に S3 に渡すことで、認証を行う仕組みになっています。 事前準備 S3 バケットの作成 自身の AWS のアクセスキーとシークレットキーを手元に用意 Policy と Signature の作成 最初に Policy Document を作成し、S3 へダイレクトアップロードする際の制約を定めます。 Policy Document は以下のような形式です。 {"expiration": "2013-08-17T00:00:00Z", "conditions": [ {"bucket": "buck
Boto3でS3のpre-signed URLを生成する | DevelopersIO
実際に実行すると以下のような URL が生成されます。 https://YOUR_BUCKET.s3.amazonaws.com/YOUR_KEY では、この URL を使って S3 にオブジェクトを登録してみましょう。 $ export URL=https://YOUR_BUCKET.s3.amazonaws.com/YOUR_KEY # generated pre-signed URL $ echo abcde > test.txt $ curl -D - -X PUT --upload-file test.txt $URL HTTP/1.1 100 Continue HTTP/1.1 200 OK x-amz-id-2: 9J3B1F6kcpjEszB8w0RJCyOlJPdjWyNDHxRhiQ0bl9NmZGD64iysF/e9Wr9vDWxj4MN1KyOoIlo= x-amz
S3のアクセスコントロールまとめ - Qiita
これに評価が許可になる条件Bを組み合わせると、 (NOT A) or B → デフォルト拒否 or 許可 → 許可 A or B → 明示的拒否 or 許可 → 拒否 となり、評価がデフォルト拒否になっているからといって、拒否設定した気になっていると、 他のポリシーとの組み合わせでうっかり許可になってしまう場合がある。 対象リソースの指定 バケットポリシーやIAMポリシーで、ある Action を許可/拒否する場合、対象 Resource を ARN で指定する。 バケットに対する Action は Resource としてバケットの ARN(arn:aws:s3:::bucket) を指定する。 オブジェクトに対する Action は Resource としてオブジェクトの ARN(arn:aws:s3:::bucket/*) を指定する。 AWS Management Console
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
S3上の画像をCORSを利用してCanvasで使う - Tech-Sketch
Amazon S3でCross-Origin Resource Sharing(CORS)というものが使えるようになっていたようなので、クロスドメインで取得した画像をCanvasで利用する目的で実際に使ってみました。 Cross Origin Resource Sharingってなんだろう ブラウザではセキュリティのためにSame Origin Policyによって、他のオリジン(プロトコルとドメインとポート番号の組)へのデータ送受信を原則禁じています。 このセキュリティ上の制限を回避するのには一般的には以下のような方式があります。 ReverseProxy ( 過去のtech-sketch ) JSONP これに加えてCORSという手法が提案されて標準化される方向に向かっており、記事を書いている時点では勧告候補のようです。 CORSによって、自分のWebアプリケーションで他のオリジン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Simple Storage Service
Amazon Simple Storage Service