Amazon S3のシナリオ別(5選)バケットポリシーを考えてみた - NRIネットコムBlog
本記事は 【Advent Calendar 2023】 12日目の記事です。 🎄 11日目 ▶▶ 本記事 ▶▶ 13日目 🎅 今回のテーマについて AWSを使用するシステムで、S3を使わないことなんてない。と言い切れそうなくらいS3は使用されていますよね。低コストで大容量のオブジェクトを保存できるというメリットがまず思い浮かぶと思いますが、それ以外にもアクセス制限を細かくできるといったセキュリティ面の強みも大きな魅力です。 そのセキュリティ設定の1つとしてバケットポリシーがありますが、正しく理解できていますでしょうか？今回はよく遭遇するシナリオパターン5つを想定し、それに即したバケットポリシーの例を紹介していきたいと思います。 なお、バケットポリシーは同じシナリオであっても複数設定パターンが存在し、今回紹介させていただくものが正解というものではありませんので、あらかじめご了承ください。
今S3のIaCで「AccessControlListNotSupported: The bucket does not allow ACLs」というエラーが出たならそれは2023年4月に行われたS3の仕様変更が原因かもしれない | DevelopersIO
今S3のIaCで「AccessControlListNotSupported: The bucket does not allow ACLs」というエラーが出たならそれは2023年4月に行われたS3の仕様変更が原因かもしれない 最近、S3のIaCでAccessControlListNotSupported: The bucket does not allow ACLsというエラーが出て困っているという方。もしかするとそれは2023年4月に行われたS3の仕様変更に拠るものかもしれません。私のケースがそうでしたので、詳細をレポートします。 私のケース CloudFront + S3で静的コンテンツを配信するサイトの実装を行なっていました。IaCツールはTerraformです。 3月にdev環境のプロビジョニングを行ないました。問題なく完了しました。 4月になってstaging環境のプロビジョニ
AWS CLI の S3 のファイルの --exclude と --include の使い方のメモ。 - 全力で怠けたい
--exclude オプションと --include オプションの使い方 パターン記号 --exclude オプションと --include オプションの適用ルール それぞれ0回または1回以上指定できる 後に指定するほうが優先する ソースディレクトリに対して評価する --include オプションは --exclude オプションと組み合わせて使う よく使うやつ 参考サイト AWS CLI の aws s3 sync とか aws s3 cp コマンドとかの --exclude オプションと --include オプションの使い方のメモ。 aws コマンドのバージョン。 $ aws --version aws-cli/2.1.21 Python/3.7.4 Darwin/19.6.0 exe/x86_64 prompt/off --exclude オプションと --include オプショ
aws-cliのインストールが大変なので車輪の再発明をした話 - LIVESENSE ENGINEER BLOG
これは Livesense Advent Calendar 2022 DAY 7 の記事です。 リブセンス インフラエンジニアの中野(etsxxx)です。VPoEをまだやってます。最近カメラ本体を新調して、レンズも買い増ししたい欲求に駆られています。Techな話よりそっちを語れる自信があります。 背景 s3getのご紹介 コンセプトと狙い 使い方 最後にちょっとだけ補足 背景 AWSのサービスをちょっとだけ利用したいとき、aws-cliのインストールがだるいって思ったことはないでしょうか？私はあります。 Amazon S3に置いているファイルを、古いOS上あるいはコンテナビルド中にダウンロードしたくて、aws-cliをインストール。 このインストール作業。手作業はもちろん、プロビジョニングコードに実装してもだるいのですが・・・ それ以前に、古いOSではOpenSSLが古すぎてhttpsなU
AWS CLI を使ってバージョニングが有効化された Amazon S3 バケットを空にしてみた | DevelopersIO
いわさです。 Amazon S3 を使っているとバケットを削除したいシーンが出てくると思います。 マネジメントコンソールから削除を行うことが出来ますが S3 バケットではバケット内にファイルが存在している場合は削除することが出来ないので、まず「空にする」機能を使ってバケット内のファイルを削除する必要があります。 今回削除したいバケットの数が多かったのでこのバケットを空にする操作を AWS CLI で行おうとしたのですが、思いの外面倒だったので方法を共有しておきます。 公式ドキュメントでは AWS CLI の場合 s3 rm を使うように案内されている まず、S3 バケットを空にする方法は公式ドキュメントでも案内されています。 ここでは以下のようにs3 rmコマンドを使ってファイルを削除する方法が案内されています。 % aws s3 rm s3://hoge1023bucket --recu
CloudFrontでドメインルートをS3にして、サブディレクトリをWordPressにした場合の注意点と解決策 | DevelopersIO
ハロウィンは家にこもってゆるゆりを見ていました森永です。 今回はタイトルをどうしようかすごく迷いましたが、困っている方がいらっしゃると思うのでド直球なタイトルにしてみました。 問題の構成 今回の問題の前提は以下の通りです。 CDNにCloudFrontを使用してリバースプロキシとしている ドメインルートexample.comはS3に向ける example.com/blog/*はWordPressを構築したEC2に向ける（ELBを挟んだ場合も同様） WordPress側でblogというスラッグを作成している CloudFrontの設定はこんな感じです。 S3とEC2（もしくはELB）をOrigin登録して、Behaviorで振り分けます。 想定としては、コーポレートブログをS3に置いていて、後になってブログを開設したくなったのでWordPressを使おう！といったものが考えられます。 結構あ
EC2からS3へアクセスする4つのルートとコスト - NRIネットコムBlog
こんにちは佐々木です。以前、『AWSのグローバルIPの空間はインターネットなのか？』と題して、AWSのパブリックIP同士の通信が何故AWSのプライベートネットワークの通信になるのかという話をしました。その中で、PrivateLinkの必要性はどう考えるべきなのかという事に、少しだけ言及しました。今回は、そこをもう少しだけ深ぼって見てみましょう。ユースケースとしても多いであろう、EC2からS3の通信の例でみてみます。 tech.nri-net.com EC2からS3へアクセスする４つのルート EC2からS3へアクセスするルートとしては次の４つがあります Internet Gateway NAT Gateway VPC Endpoint（Gatewayタイプ） PrivateLink（Interfaceタイプ） それぞれの構成と利用に関わる費用をみてみましょう。なお、今回ご紹介するコストは、S
Meow Attack（ニャー攻撃）で稼働中WebアプリのAWS S3保存画像を全削除されてしまった… - あなたとあなたの話がしたい
突然S3の画像がすべて削除された 自作のRailsアプリの短歌投稿サイトUtakataをいつものように眺めていたら、一部のユーザーのアイコンが表示されていないことに気づいた。もしやと思ってブラウザのキャッシュをクリアしてみたら、すべてのユーザーのアイコン画像がリンク切れになっていた。 当初はライブラリの問題かと思ったけれど、念の為AWSにログインしてS3のバケットを見てみたら、なんと最近アップロードされた不審なindex.htmlを残してすべての画像ファイルが削除されていた。 明らかに第三者から悪意のある攻撃を受けている事態に頭が真っ白になりそうだったけれど、取り敢えずAWSアカウントのパスワードを変えてからindex.htmlのソースをチェックし、危険性がないことを確認してから開いてみた。 猫のキャラクター画像に謎の文字列が羅列され、meow（ニャー、猫の鳴き声）。 HTMLファイルのソ
Amazon S3 静的サイトホスティングに対して、ワイルドカードによる DNS レコードは使わないでください | DevelopersIO
旬の生魚おじさん、都元です。弊社は本日を最終営業日として、これから冬季休業となります。 今年も一年、どうもありがとうございました。というわけで恒例の書き納め三本締め、その1。 だいぶ昔に「AWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む）」というエントリーでご紹介しましたが、Amazon S3 には静的ウェブサイトホスティングという機能があります。 静的 (つまり、状況に応じて異なるコンテンツを返さない、常に同じコンテンツを返す) ウェブサイトは、特に EC2 などのサーバーを立ち上げずに、S3 の機能を使って実現できます。古くからある機能です。 この機能は、さらに Amazon Route 53 によって ALIAS レコードを設定することにより、独自ドメインによるホスティングも可能です。これも古くからある機能です。 このあたりの詳細は AWS ドキュメントのチュート
S3の利用料金を損してるかも？安心して利用するための設定をしましょう | DevelopersIO
はじめに こんばんは、菅野です。 皆さんは Amazon S3 の利用料金って厳密な計算なんてしてないですよね？ もちろん私もしてませんし、今後も恐らくしません。 でも、自分では知らないうちに無駄な利用料金が発生してるかもしれないとしたらどうでしょう？ 今回のブログではその「無駄」を自動で削減してもらうための設定についてご紹介します。 マルチパートアップロードを知ってますか？ S3 は最大5TBまでのオブジェクト（ファイル）を保管できるのですが、保存のため一度に送信できるサイズは5GBという制限があります。 ではどうやって5TBのオブジェクトを保存するのか？というと aws cli や SDK を使って小さく分割したファイルを送信し、全ての部品が揃ったら S3 で一つのファイルに復元されます。 この機能を「マルチパートアップロード」といいます。 マルチパートアップロードを利用するメリットと
【速報】新機能！S3 Access Analyzerがリリースされました！【導入5分 / ノーコスト】 #reinvent | DevelopersIO
S3 Access Analyzerとは S3 Access Analyzerは本日発表された、S3のアクセスコントロールに問題がないか検知するための新機能です。 Monitor, review, and protect Amazon S3 buckets using Access Analyzer for S3 | AWS Storage Blog Now you can use the new Access Analyzer for S3 to discover, review & remediate unintended permissions for S3 buckets or objects. #reInvent https://t.co/CiR59f9Zp6 pic.twitter.com/nBvrwqnxSN — AWS re:Invent (@AWSreInvent) De
【注意喚起】 2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなります。 | DevelopersIO
2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなる、との発表がありましたのでシェアします。 Announcement: Amazon S3 will no longer support path-style API requests starting September 30th, 2020 2021.01.27 追記 2020年9月23日に以下の追加アナウンスがありました。 ・ユーザーが仮想ホスト形式への移行に必要な時間を確保するための措置として、パス形式の非推奨化は少なくとも 1 年間延期されました。執筆時点において新規バケットについてもパス形式のリクエストは可能ですが、あくまで延期であるため新規に作成されるものについては、仮想ホスト形式を前提にしたほうが良い点は変わらないと思います。 ・また、互換性の理由から仮想ホスト形式においてもドットが含まれる
SFTP on EC2 から透過的に AWS Transfer for SFTP に切り替えてみた #reinvent | DevelopersIO
これまで 「S3 に直接 SFTP したい」 という要望はたくさんあったかと思います。しかし、従来は対応していなかったため EC2 に一度アップロードしてから、S3 に持っていくなどの対応が必要でした。 今回、新たにリリースされた AWS Transfer for SFTP によって、直接 S3 に SFTP できるようになりましたので、「だったら、そっちに移行したいなぁ」とお考えの方も少なくないと思いますので、ユーザから透過的に切り替えられるか試してみよう、と思ったのでやってみました。 やりたいこと 今回やりたいことは、図にするとこんな感じです。アクセス先をユーザから透過的に AWS Transfer for SFTP に切り替えて、クライアント側の設定はそのままでアクセスできることを確認します。 前提 移行環境の前提は下記のとおりです。 既存の FTP アクセスはドメイン名を使用してい
新サービスAWS Transfer for SFTPを使って、WinSCPからS3へアクセスする #reinvent ｜ DevelopersIO
はじめに 日本時間の2018年11月26日夕方、AWSからマネージドSFTPサーバ"AWS Transfer for SFTP"が発表されました。 “AWS Transfer for SFTP”発表！S3がSFTPで連携可能に！！ #reinvent こちらのサービスを早速使ってみました。 AWS Transfer for SFTP(AWS SFTP)を使う SFTPサーバの起動 AWS管理コンソールにログインし、東京リージョンでサービスを検索します。ありました。 サービスのトップページです。Create Serverボタンを押します。 サーバ起動設定画面では、以下が設定できます。 これら設定の殆ど(Identity provider以外)はSFTPサーバ作成後にも変更できます。 DNS configuration： SFTPサーバの名前解決 None: 使用しない(自動生成されたエンドポ
New Service: AWS Transfer for SFTP, a fully managed SFTP service for Amazon S3
AWS Transfer for SFTP では、Secure Shell File Transfer Protocol (SFTP) を使用するファイル転送ワークロードを、アプリケーションの変更や SFTP サーバーの管理を行う必要なく AWS に簡単に移行できます。 AWS Transfer for SFTP (AWS SFTP) の開始方法は簡単です。SFTP サーバーを作成して、ドメインをこのサーバーエンドポイントにマッピングします。サービスが管理する ID を使用して SFTP クライアントの認証を選択するか、独自の ID プロバイダーを統合します。そして、転送するデータを保存する Amazon S3 バケットを選択します。既存のユーザーは引き続き既存の SFTP クライアントやアプリケーションを使用できます。Amazon S3 バケットでは SFTP を使用してアップロードまた
AWS CLIを使ってS3上にあるファイル数とファイルサイズの合計を取得する | DevelopersIO
Amazon Athenaの料金はスキャンしたデータ量で決まるので、特定のフォルダ以下のファイルサイズの合計をAWS CLIで取得する方法を調べたのですが忘れそうなのでメモしておきます。以下のコマンドでファイル一覧の後にファイル数とサイズの合計が出力されます。 aws s3 ls s3://[バケット名]/[フォルダ名]/ --recursive --human --sum オプションの説明になります。 --human-readable(--humanだけでも可)：ファイルサイズに単位をつけて見やすくしてくれるオプション --summarize (--sumだけでも可)：合計サイズとオブジェクトの数を表示してくれるオプション --recursive：指定したフォルダの中にフォルダがあった場合にその中のファイルも対象にするオプション バケットごとの使用量やファイル数はCloudWatchで見
Amazon Athena Webアクセスログ、CloudFrontのログ、CloudTrailのログのパーティション設定を自動化する | DevelopersIO
はじめに Webアクセスログ（ELB）、CloudFrontのログ、CloudTrailのログは、YYYY/MM/DD形式のフォルダの下に自動的に保存されます。Amazon Athenaは、S3上のログファイルに対してテーブル定義して、クエリを実行できます。しかし、大量のログファイルを高速かつコスト効率よくクエリするにはパーティションを設定する必要があります。今回はこの煩雑なパーティション設定を自動化する方法をご紹介します。 カラム名あり（Hive互換）とカラム名なしのパーティション パーティションは、カラム名あり（Hive互換）パーティションとカラム名なしパーティションの２つに分類されます。 カラム名あり（Hive互換）パーティションは、フォルダ名がキーバリュー形式になっており、例えばyear=YYYY/month=MM/day=DD形式で保存されています。この形式はMSCK REPIR
Amazon S3 アップデート – 新しいストレージクラスと、S3 Selectの一般公開 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 アップデート – 新しいストレージクラスと、S3 Selectの一般公開 Amazon Simple Storage Service (S3) にデータを格納及び取り出しをされているすべての皆様に、二つの大きなニュースがあります。 新機能 S3 One Zone-IA ストレージクラス – この新しいストレージクラスは、現在の Standard-IA ストレージクラスよりも 20% ほど低価格です。地域間での冗長性による、より高い保護レベルを必ずしも必要としないデータを格納する用途に設計されているものです。 S3 Select の 一般公開 – このユニークなデータ取得オプションにより、シンプルな SQL式を使って S3 オブジェクトから一部のデータのみを取得することができ、400% もの性能改善を期待できる可能性がありま
AWS再入門2018 クラウドストレージサービス編 | DevelopersIO
こんにちは。池田です。節分を迎えてからはAlexaスキル開発トレーニングを参考に少しずつ勉強を進めています。具体的なオリジナルスキルのアイデアはまだぼんやりしていますが、新しい技術に触れられる時間は楽しいですね。 自身の学習用にと各サービスの特徴など基本事項を中心に整理してきたAWS再入門2018シリーズですが、ついにDevIO公式シリーズとしてひとつのカテゴリーになりました。興味のある方はこちらから他の投稿もご覧ください。 はじめに 今回はAWSが提供している5つのクラウドストレージサービスについて、それらの特徴と違いなどを整理していこうと思います。 もくじ 概要 Amazon Simple Storage Service（Amazon S3） Amazon Elastic File System（Amazon EFS） Amazon Elastic Block Storage（Amaz
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
安全なファイル転送 - ファイル転送サービス - AWS Transfer Family - AWS