特定のS3のフォルダにのみアクセス権のあるIAMユーザーを使ってCyberduckから参照する | DevelopersIO
特定のS3のフォルダにしかアクセス権を与えたくない場合、 ポリシーを作成してIAMユーザーに付与し、そのユーザーからフォルダを参照しますが、 マネジメントコンソールから入るとトップページを表示する権限がないので以下のメッセージが表示され目的のフォルダにアクセスできません。 そのため今回は、S3のフォルダおよびそこにしかアクセス出来ないポリシーを作成し、そのポリシーを付与したIAMユーザーのクレンデンシャル情報を使ってCyberduckからアクセスする方法を紹介します。 手順 手順は以下になります。 フォルダの作成 ポリシーの作成 IAMユーザの作成 Cyberduckの設定 １．フォルダの作成 S3のコンソールから「バケットを作成」ボタンをクリックし、バケット名とリージョンを選択してバケットを作成します。 この時にバケット名の命名ルールに準じていないとバケットが作成出来ないので注意しましょ
【新機能】S3がVPCのプライベートサブネットからアクセス可能になりました！ | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日、VPCのプライベートサブネットからS3へアクセスできるアップデートがありましたのでご紹介します。 どういう仕組み？ プライベートサブネットからアクセスするために、VPC内に特別なエンドポイントを作成します。ルートテーブルでS3へアクセスするIPアドレスをVPCエンドポイントへ向けるようにしてアクセスを可能とさせます。 設定 Management ConsoleのVPCダッシュボードに、以下のように「エンドポイント」という項目が増えています。 ではエンドポイントの作成を行います。 VPC：エンドポイントを作成するVPCを選択します。 サービス：現状ではS3（com.amazonaws.ap-northeast-1.s3）固定になっています。 ポリシー：今回は「フルアクセス」を選択します。ポリシー作成ツールを使用してVPC Endpo
S3のアクセスコントロールまとめ - Qiita
これに評価が許可になる条件Bを組み合わせると、 (NOT A) or B → デフォルト拒否 or 許可 → 許可 A or B → 明示的拒否 or 許可 → 拒否 となり、評価がデフォルト拒否になっているからといって、拒否設定した気になっていると、 他のポリシーとの組み合わせでうっかり許可になってしまう場合がある。 対象リソースの指定 バケットポリシーやIAMポリシーで、ある Action を許可/拒否する場合、対象 Resource を ARN で指定する。 バケットに対する Action は Resource としてバケットの ARN(arn:aws:s3:::bucket) を指定する。 オブジェクトに対する Action は Resource としてオブジェクトの ARN(arn:aws:s3:::bucket/*) を指定する。 AWS Management Console
【新機能】S3でCross-Region Replicationが出来るようになりました！ | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日S3に重要なアップデートが行われました。S3のオブジェクトを別リージョンへレプリケーションすることで出来るようになりました。 設定 今回はManagement Consoleから設定を行いました。 まずS3の画面を表示します。Cross-Region Replicationの告知が表示されていました。 レプリケーションのオリジンとしてS3バケットを"maroon1st-rep-tokyo"という名称で作成して設定します。 Propertiesの中に"Cross-Region Replication"が増えています。 まず、[Enable Versioning]をクリックして有効化します。有効化は既存"Versioning"の項でも実施可能です。 次にレプリケーションの内容を設定します。 [Enable Cross-Region Re
S3のZipファイルをRangeでバイナリアクセスして料金を節約 - HDE BLOG
あけおめころよろメリクリ!! 尾藤 a.k.a. BTOです。 今年も残すところ、あと357日となりましたが、みなさんいかがおすごしでしょうか。 今年の目標は、純白のメルセデス、プール付きのマンション、最高の女とベッドでドン・ペリニヨンの3つです。 さて、今回はS3上に置いたZipファイルをHTTPのRangeパラメータでバイナリアクセスして、料金を節約した話を書きます。 検索インデックスのデータ量が増大 メールアーカイバでは、検索インデックスを mongodb に格納していますが、データ量が増えるにしたがって性能的な問題が出てきました。なにしろ月間1億6000万通のメールを処理するので、検索インデックスのデータ量も大変なことになります。 amazon EBS 1TB制限 当時のEBSでは、最大で1TBのボリュームしか作れませんでした。 検索インデックスのデータ量の増え方は不規則なので、ど
Amazon S3暗号化と運用 | DevelopersIO
はじめに S3は、拡張性と信頼性に優れた堅牢なストレージサービスとして、AWSサービス支えるの中心的な存在です。冗長化、ライフサイクル管理、アクセス制御、暗号化等バックアップメディアに期待される機能を標準で備えています。 ご紹介するS3暗号化はクライアントサイド暗号化、サーバーサイド暗号化が可能で、さらに暗号化にユーザーが管理する鍵を使用できます。企業の内部情報や個人情報を含むデータでも、手間をかけずに暗号化して保管できます。 S3暗号化の分類 データを暗号化する場所と鍵の管理をどこが担うかによって分類されます。 ・鍵の生成・管理はサーバサイドとクライアントサイドのどちらであるか ・オブジェクトの暗号化はサーバサイドとクライアントサイドのどちらかであるか AWSが提供するS3暗号化ソリューション Client Side Encryption Client Side Encryption（以
S3 Event NotificasionsをAmazon SQSで受け取る - Glide Note
最近やっている仕事で先日発表されたS3 Event Notificationsが利用出来そうな感じがしたのでちょっと調査。 S3にファイルがアップされたらAmazon SQSで通知を受け取るようにしてみた。 S3 => SNS => SQS への通知は解説しているサイトが結構あるんですが、S3 => SQS への通知設定の 情報が見当たらなかったので、動くようになるまで、いろいろと試行錯誤を繰り返した。 特にSQSのPermission設定が恐ろしく分かりにくくに2日くらいハマったので、自分用にメモしておく。 S3 Bucketの作成 S3でBucketを作成。既存Bucketを利用する場合はここはSKIP。 今回は検証用にglidenote-sqs-testという名前でBucketを作成 SQSの設定 S3のイベント通知を受け取るQueueを作成する Queue名をsqs-testをして
[AWS][Java] CloudFront+S3の署名付きURL発行手順のドキュメント | DevelopersIO
こんにちは。こむろです。すっかりサーバーサイドJavaに戻ってます。 今回は、CloudFront＋S3の署名付きURLの発行をAWS SDK for Javaから行う方法を探してみました。 が、いまいち公式ドキュメントの更新が追いついていないようだったので、怒りととともにメモしておきます。 CloudFront + S3の署名付きURLのドキュメント これらをどのように連携すればよいかは、弊社ブログでもいくつかエントリーが投稿されています。 CloudFront+S3で署名付きURLでプライベートコンテンツを配信する [CloudFront + S3]特定バケットに特定ディストリビューションのみからアクセスできるよう設定する この辺りを参考にしています。 しかし、AWS SDKからのコードを通してのアクセス方法など、開発寄りのものではなかったので公式のドキュメントを追ってみました。 Am
![[AWS][Java] CloudFront+S3の署名付きURL発行手順のドキュメント | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/05bf92c3dad6e282bf2cded7bb4b61f42547e50e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_CloudFront.png)
AWS SDK for JavaScriptでAmazon S3とDynamoDBをクライアントサイドJavaScriptのみで操作する
AWS SDK for JavaScriptでAmazon S3とDynamoDBをクライアントサイドJavaScriptのみで操作する 久保田です。 AWS SDK for JavaScriptのデベロッパープレビューがリリースされました。AWSは今までウェブサービスのサーバサイドからしか扱えませんでしたが、このライブラリを用いることで、AWSのサービスをクライアントサイドのJavaScriptからでも操作できるようになります。つまり、IaaSとして利用できるAWSをサーバサイドのプログラム無しでBaaSのように扱うことができます。最も有名なBaaSの一つであるParse.comもバックエンドにはAWSを利用していることが知られていますが、今回登場したAWS SDK for JavaScriptを用いるとParse.comのようなBaaSと同じようなことがAWSでもできるのではないかと注
特定の IAM Role を持った別アカウントの EC2 インスタンスから S3 へのアクセスを許可する Bucket Policy - Qiita
+--AWS Account A------+ +---AWS Account B----+ | EC2 Instance --+------------+----> S3 Bucket | | (IAM Role) | | (Bucket Policy) | +---------------------+ +-------------------+ { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::XXXXXXXXXXXX:role/SomeRole" }, "Action": "s3:ListBucket", "Resource": [ "arn:aws:s3:::bucke
AWS S3で異なるアカウントが所有するバケット間をsyncする - Qiita
アカウントが異なるS3 bucket間を aws s3 sync したい場合の設定例。 前提 account: A bucket: AAAA account: B bucket: BBBB があったとして、AAAA → BBBB に aws s3 sync をしたい。 設定 B が AAAA に対して読み取ることを許可するため、AAAA の bucket policy に以下のような設定をします。 [ACCOUNT-ID-B] は B の aws acccount id (12桁の数字) です。 要するに arn:aws:s3:::AAAA/* に対して s3:GetObject arn:aws:s3:::AAAA に対して s3:ListBucket を許可ですね。 { "Version": "2008-10-17", "Id": "Policy1406622286590", "Stat
はじめてのEMR／fluentdでS3にアップロードしたログをElastic MapReduceで検索・集計する | DevelopersIO
今回解決したい課題 こんにちは植木和樹です。本日の課題はタイトルの通り「fluentdでS3のバケットにアップロードしたログを検索・集計する」です。EC2でサーバを構築した場合、インスタンスがTerminateした後もログが参照できるようfluentdを使ってS3にファイルをアップロードしておくのがAWSのベストプラクティスです。 「Amazon Recommends Fluentd as “Best Practice for Data Collection” over Flume and Scribe」 しかしS3にアップロードしたログファイルはツールを用いなければアクセスすることができず、このままでは容易に検索できません。EC2からS3をs3fsでマウントしてgrepという方法はありますが、遅すぎて実用的とはいえません。s3cmdでいったんローカルにファイルをダウンロードしてから検索す
S3の料金体系が分かりにくいと聞かれたので纏めた - Qiita
課金ポイントは3つ そんなに難しいことはないと思いますが 課金ポイントは3つ あります。 ストレージ容量 単純に保存容量に対して課金されます。 低冗長化ストレージを指定すると2割くらい安くできます。 ログだとか家族写真の保存だとかメインだとデータ転送よりここにお金がかかってきます。（容量でかいけど古いやつは殆どアクセスしないようなのはライフサイクル設定でGlacierに移動する手もあります） データ転送 課金されるのは(S3からの)送信だけです。受信（S3へのアップロード）は無料です。 また、インターネットへの送信と別のAWSリージョンまたはCloudFrontへの送信で別料金が設定されてますが、小～中規模のシステムならサーバ群は1リージョンに纏まってることが多いでしょうから、CroudFront利用時くらいにしかその料金は発生しないと思います。しかもCroudFront利用時は殆どのトラ
docker-registry と Amazon S3 で作る自分だけのコンテナ倉庫（リポジトリ） - ようへいの日々精進XP
はじめに コンテナイメージは index.docker.io にだけ保存出来ると思っていたら個人でもリポジトリを持てるらしい しかも、コンテナイメージを Amazon S3 に保存出来るらしいので課金に注意しつつ*1そちらで試してみる！ 尚、リポジトリの環境自体もコンテナイメージで配布されているのでそちらを利用する docker-registry は Gunicorn という python の WSGI HTTP サーバーで実装されている 参考 docker-registry S3-backed Private Docker Registry Deploying your own Private Docker Registry 準備 docker-registry コンテナイメージを pull してくる せっかくなんで docker クライアント for MacOS X でやってみる。 d
hansode.org - このウェブサイトは販売用です！ - hansode リソースおよび情報
このウェブサイトは販売用です！ hansode.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、hansode.orgが全てとなります。あなたがお探しの内容が見つかることを願っています！
AWS Solutions Architect ブログ
はじめに ソリューションアーキテクトの安川 (@thekentiest)です。AWS ElasticBeanstalkがDockerに対応したという発表がされて以来、実際に利用してくれるお客様や、ブログを書いてくれる方がたくさんいて、嬉しい限りです。 最近ではローンチ当初に比べてDeployの仕組みも改善され、Deploy時にはStagingコンテナが立ち上がり、その立ち上げが完了した後に旧コンテナとの切り替えが行われるようになり、よりダウンタイムが短くなったので、使い勝手も良くなってきたかと思っています。 ところで皆さん、Dockerを使ったDevOpsを行う際、コンテナイメージを置くレポジトリはどうされていますでしょうか？ベースイメージだけを公開レポジトリ等から取得して、毎回コンテナをBuildする場合にはそれほど悩まないかもしれませんが、構築済みのコンテナイメージをPullしてDep
DockerとS3を用いた、yum / apt リポジトリ作成・運用の継続的インテグレーション - ゆううきブログ
Docker を用いた rpm / deb パッケージ作成の継続的インテグレーション - ゆううきブログ の続き。 前回は、rpm / deb パッケージを作るために、CentOS、Debianなど各種ディストリビューションを揃える手間をかけずに、Docker コンテナ上でパッケージングして、ついでに Jenkins で CI するみたいなことを書いた。 今回は、作成したパッケージを yum / apt リポジトリに登録して yum / apt コマンドでパッケージインストール/アップデートできるようになるまで継続的インテグレーションするという話。 問題点 yum / apt リポジトリ用の専用ホストを立てて、そこで apache とかで静的ファイルをホストするのはめんどくさい。 特に、mackerel-agent みたいなユーザにインストールしてもらうパッケージの場合、リポジトリを公開し
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Amandaを使ってバックアップ（Amazon S3編） - Tech-Sketch
Amanda試用レポートの第4回目は、クラウドへのバックアップ機能のご紹介です。 Amandaは無料のコミュニティ版でもAmazon S3へのデータ保存に対応しており、HDDやテープへのバックアップと同じ操作でバックアップ/リカバリが可能です。 Amazon S3へ保存してみよう 完成イメージ バックアップサーバのHDDにいったんバックアップデータをため込んでから、S3へ保存するので、保存中に接続が切れてもHDD上にデータが残る仕組みになっています。 amanda.confの設定 S3への接続に必要なアクセスキー IDとシークレットアクセスキーのペアを確認しておきましょう。AWS Management Console右上のユーザ名→Security Credentials→アクセス証明書の「アクセスキー」タブで確認できます。 ここではアクセスキー ID：ACCESS_KEY_ID、シー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
conma.me
