【注意喚起】 2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなります。 | DevelopersIO
【注意喚起】 2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなります。 2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなる、との発表がありましたのでシェアします。 Announcement: Amazon S3 will no longer support path-style API requests starting September 30th, 2020 2021.01.27 追記 2020年9月23日に以下の追加アナウンスがありました。 ・ユーザーが仮想ホスト形式への移行に必要な時間を確保するための措置として、パス形式の非推奨化は少なくとも 1 年間延期されました。執筆時点において新規バケットについてもパス形式のリクエストは可能ですが、あくまで延期であるため新規に作成されるものについては、仮想ホスト形式を前提
Boto3を使ってプライベートサブネットのEC2からクロスアカウントのS3にアップロードしてみた | DevelopersIO
プライベートサブネットに立ち上げたEC2から異なるAWSアカウントのS3にクロスアカウントでファイルをアップロードしてみたので紹介します。 こんにちは、ニシヤマです。はいマスキュラー。 プライベートサブネットにあるEC2からVPC Endpoint経由で異なるAWSアカウントのS3にファイルアップロードする環境を構築してみたので紹介します。 気をつける点としては、クロスアカウント環境で適切に設定しないでS3へファイルアップロードを行うと、アップしたファイルで権限エラーが発生してしまうので今回はそれを考慮しながらプログラムから実施しています。 イメージ 説明が長くなってしまいましたが図にするとこんな感じになります。ゴチャッとしてます。 S3バケットのあるアカウントをアカウントA、ファイルアップロードするEC2のあるアカウントをアカウントBとします。アカウントBのEC2→アカウントAのS3バケ
VPCエンドポイント経由して別AWSアカウントのS3バケットにアクセスしてみた | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 VPCエンドポイントを使用してプライベートな通信でのS3のクロスアカウントアクセスを試す機会がありましたので、書いていきたいと思います。 構成図 本投稿では以下のような登場人物でのクロスアカウントアクセスを行いたいと思います。 S3のクロスアカウントアクセスについてはハマりどころも含めすでに弊社千葉が書いていますので、こちらも参考にしてください。 [S3]クロスアカウント時のアップロード時の権限エラー[はまった] 今回はVPCエンドポイントを経由した通信と、「bucket-owner-full-control」に対する回避策をS3バケットポリシーに記述する方法について追記しています。 前提 必要なものはこれだけです。 アカウントA IAMRole（S3FullAccess）の作成 上記IAMRoleの付与されたEC2（Amazon Linux以外はA
s3fsよりも高速なgoofysが待望のContent-Type自動設定をサポート | DevelopersIO
西澤です。S3バケットを直接マウントして高速に使えるgoofysが待望のContent-Typeの自動設定をサポートしたとの情報を見つけたので、早速試してみることにしました。 kahing/goofys: a Filey System for Amazon S3 written in Go Use /etc/mime.types to set Content-Type accordingly · Issue #54 · kahing/goofys Content-Typeとは S3にオブジェクトを配置する際には、システムメタデータを設定することができます。S3のウェブホスティング機能を使ってWEB公開する場合、ブラウザは配置されたオブジェクトのContent−Typeを参照して挙動を変える為、WEB公開するオブジェクトには適切なContent−Typeを仕込んであげる必要があります。 AW
s3fsよりも高速に使えるgoofysを試してみた | DevelopersIO
西澤です。S3バケットを直接マウントしてファイルシステムのように使いたいケースがありますが、s3fsはややパフォーマンスに難があります。Goで書かれていてs3fsよりも高速に動作することを売りにした"goofys"というツールを見つけたので、早速試してみることにしました。 s3fs-fuse/s3fs-fuse · GitHub GitHub - kahing/goofys: a Filey System for Amazon S3 written in Go 前提パッケージのインストール 今回はAmazon Linux(Amazon Linux AMI 2015.09.1 (HVM), SSD Volume Type)環境で検証を行いました。golangとfuseパッケージが前提として必要となりますので、下記のようにインストールします。 $ sudo yum install golang
Amazon S3のバケットを特定のAWSアカウントに共有する | DevelopersIO
はじめに オペレーション部ではお客様のお問い合わせに日々対応させていただいております。 調査のためログやdumpファイルなどの情報をいただくことがありますが容量が大きい場合、受け渡しに困ることがあります。 その際にS3を利用して弊社AWSアカウントに共有していただくことでファイルの受け渡しができますのでご紹介致します。 設定方法 任意のバケットを準備する Create Bucket → Bucket Name を入力し Region を指定 → Create で作成します。 作成したバケットにBucket Policyを設定する 作成したバケット → Properties → Permissions と進み Add bucket policy をクリックします。 下記ポリシーを入力しSaveします。 { "Version": "2012-10-17", "Statement": [ { "
Amazon S3による静的Webサイトホスティング
2. Who am I ? 堀内 康弘 (ほりうち やすひろ) • 1978年年⽣生まれ ⼭山梨梨県出⾝身 AWS テクニカルエバンジェリスト • 130回以上の講演 ※2012年年の実績 • 35回以上のハンズオン • 120本以上のブログ記事(AWSの最新情報を投稿) Amazon Web Services ブログ http://aws.typepad.com/aws_̲japan/ 10+ years web engineer in startups • Director of V-‐‑‒cube (perl), 2001 -‐‑‒ 2006 • CTO of FlipClip (perl), 2006 -‐‑‒ 2009 • CTO of gumi (python), 2009 -‐‑‒ 2012 @horiuch
【新機能】S3がVPCのプライベートサブネットからアクセス可能になりました！ | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日、VPCのプライベートサブネットからS3へアクセスできるアップデートがありましたのでご紹介します。 どういう仕組み？ プライベートサブネットからアクセスするために、VPC内に特別なエンドポイントを作成します。ルートテーブルでS3へアクセスするIPアドレスをVPCエンドポイントへ向けるようにしてアクセスを可能とさせます。 設定 Management ConsoleのVPCダッシュボードに、以下のように「エンドポイント」という項目が増えています。 ではエンドポイントの作成を行います。 VPC：エンドポイントを作成するVPCを選択します。 サービス：現状ではS3（com.amazonaws.ap-northeast-1.s3）固定になっています。 ポリシー：今回は「フルアクセス」を選択します。ポリシー作成ツールを使用してVPC Endpo
Amazon S3のオブジェクト移行・削除タイミングを調べてみた | DevelopersIO
Amazon S3のライフサイクル設定をお使いでしょうか。 オブジェクトが作成されてから、ライフサイクル設定に指定された日数が経過すると、指定したオブジェクトをアーカイブや削除してくれる機能です。 今回はオブジェクトの日数計算の開始時間についてピンポイントに検証しました。 ライフサイクルの日数計算の開始時間はいつで、その開始時間の前後にオブジェクトを作成した場合、どのように判定されるのでしょうか。 尚、ライフサイクル設定について知りたい方は、横田 あかりさんの記事で詳細な説明がありますのでご参照ください。 Amazon S3でオブジェクトの有効期限を設定できるようになりました 日数計算の基準時間を知る まず、日数計算の基準時間(日数を数え始める時刻)について知る必要があります。 AWSのドキュメントには下記記載があります。 ライフサイクル設定の要素 オブジェクトの存在時間に基づくライフサイ
AWS CLI 1.0と新しいS3コマンド(sync)を試してみた | DevelopersIO
ども、大瀧です。 今朝かた、AWSを操作するPython版コマンドラインツール、AWS CLI(aws-cli)のバージョン1.0(Developer Previewを脱した最初の正式リリース)とaws s3コマンドの新しいサブコマンド群のリリースがありました。 早速、手元のMBAで試してみた様子をレポートします。 AWS CLIによるAWS環境の操作は、弊社阿部のシリーズで詳しくご紹介しています。こちらもどうぞ。 検証環境 OS : Mac OS X 10.8.4(Mountain Lion) Python : バージョン 2.7.4(Homebrew) AWS CLIのアップグレード Pythonのパッケージ管理コマンド、pipで一発アップグレードできます。新規インストールの場合は、--upgradeオプションを省略してください。 $ easy_install pip $ pip in
Running Amazon S3 Encryption
1. 1Copylight © Classmethod, Inc. Amazon S3暗号化と運用 （CM:道 Version） AWS勉強会 in 北海道 Developers.IO Meetup 06 2014/08/01 クラスメソッド株式会社 石川 覚 2. 2Copylight © Classmethod, Inc. 自己紹介 石川 覚 (いしかわ さとる) • SIer、IP電話開発会社を経て • CMに2014/06 join • 札幌出身、東京に８年 • Linux, Java, MySQL • 自称 何でも屋 • 当然 AWS好き クラスメソッド株式会社 ソリューションアーキテクト
Amazon S3暗号化と運用 | DevelopersIO
はじめに S3は、拡張性と信頼性に優れた堅牢なストレージサービスとして、AWSサービス支えるの中心的な存在です。冗長化、ライフサイクル管理、アクセス制御、暗号化等バックアップメディアに期待される機能を標準で備えています。 ご紹介するS3暗号化はクライアントサイド暗号化、サーバーサイド暗号化が可能で、さらに暗号化にユーザーが管理する鍵を使用できます。企業の内部情報や個人情報を含むデータでも、手間をかけずに暗号化して保管できます。 S3暗号化の分類 データを暗号化する場所と鍵の管理をどこが担うかによって分類されます。 ・鍵の生成・管理はサーバサイドとクライアントサイドのどちらであるか ・オブジェクトの暗号化はサーバサイドとクライアントサイドのどちらかであるか AWSが提供するS3暗号化ソリューション Client Side Encryption Client Side Encryption（以
バックアップはクラウドへ…。Amazon S3でクラウドバックアップ
Amazon S3はAmazon Web Servicesによって提供されるクラウドストレージ。容量や通信量に応じて課金される重量課金制のウェブサービス。そこそこの容量でも通信量が多くなければ低価格で利用できるためバックアップ用途にとても相性が良い。 これまでVPSをバックアップ用途に利用していたが、Amazon S3でも簡単にバックアップの仕組みが構築できたので、これからWebサイト等のバックアップを行いたいと考えている方にAmazon S3へバックアップする方法をご紹介したい。 AWS（Amazon Web Services）に登録する Amazon S3を利用するには、まずAWSにアカウント登録する必要がある。登録画面が英語で迷ってしまったが、本記事を書く際、オフィシャルにわかりやすく登録手順がまとめてあるのを見つけてしまった。まだ登録されていない方は下記を参考に登録されると良いだろ
Amazon S3でオブジェクトの有効期限を設定できるようになりました | DevelopersIO
Amazon S3のファイルに有効期限を付ける Amazon S3に関して2011年末のアップデートで待望の機能が付きました！生成（アップロード）されたファイル(オブジェクト)の有効期限を設定できるようになったのです。有効期限の設定方法については特徴がありまして、Bucketにルールを設定して判定を行います。ですから、オブジェクトひとつひとつに設定する必要はなくとても使いやすいです。 Bucketに有効期限を設定する この有効期限は、Bucketに対する「ライフサイクル設定」と呼ばれています。このライフサイクル設定のルールはBucket毎に100個まで設定することが可能です。どのルールにも、接頭辞を指定して該当するオブジェクトを探します。有効期限は、オブジェクトが生成されてからルールで指定された日数のカウントまでとなっています。日数は0より大きい値を指定する必要があります。基準時間は、GM
S3 sync で s3からファイルを同期させる時の注意点 | DevelopersIO
はじめに s3 sync で作業をしていた際に、同期されるはずのファイルが同期されなかったので調査してみました。 事象 s3にアップロードしたファイルをローカルに同期させる際に同期されないファイルがあった。 s3にアップロードしたdocument.txtをローカルに同期する s3にアップロードしたファイル $ aws s3 ls s3://test.takahashi.yusuke/ 2015-06-26 18:56:05 4847 document.txt 現在のローカルのファイル $ ll ~/docs/ total 16 drwxr-xr-x 3 takahashiyusuke staff 102 6 25 13:17 . drwxr-xr-x+ 60 takahashiyusuke staff 2040 6 25 13:16 .. -rw-r--r-- 1 takahashiyus
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
