Amazon S3のシナリオ別(5選)バケットポリシーを考えてみた - NRIネットコムBlog
本記事は 【Advent Calendar 2023】 12日目の記事です。 🎄 11日目 ▶▶ 本記事 ▶▶ 13日目 🎅 今回のテーマについて AWSを使用するシステムで、S3を使わないことなんてない。と言い切れそうなくらいS3は使用されていますよね。低コストで大容量のオブジェクトを保存できるというメリットがまず思い浮かぶと思いますが、それ以外にもアクセス制限を細かくできるといったセキュリティ面の強みも大きな魅力です。 そのセキュリティ設定の1つとしてバケットポリシーがありますが、正しく理解できていますでしょうか？今回はよく遭遇するシナリオパターン5つを想定し、それに即したバケットポリシーの例を紹介していきたいと思います。 なお、バケットポリシーは同じシナリオであっても複数設定パターンが存在し、今回紹介させていただくものが正解というものではありませんので、あらかじめご了承ください。
aws-cliのインストールが大変なので車輪の再発明をした話 - LIVESENSE ENGINEER BLOG
これは Livesense Advent Calendar 2022 DAY 7 の記事です。 リブセンス インフラエンジニアの中野(etsxxx)です。VPoEをまだやってます。最近カメラ本体を新調して、レンズも買い増ししたい欲求に駆られています。Techな話よりそっちを語れる自信があります。 背景 s3getのご紹介 コンセプトと狙い 使い方 最後にちょっとだけ補足 背景 AWSのサービスをちょっとだけ利用したいとき、aws-cliのインストールがだるいって思ったことはないでしょうか？私はあります。 Amazon S3に置いているファイルを、古いOS上あるいはコンテナビルド中にダウンロードしたくて、aws-cliをインストール。 このインストール作業。手作業はもちろん、プロビジョニングコードに実装してもだるいのですが・・・ それ以前に、古いOSではOpenSSLが古すぎてhttpsなU
AWS CLI を使ってバージョニングが有効化された Amazon S3 バケットを空にしてみた | DevelopersIO
いわさです。 Amazon S3 を使っているとバケットを削除したいシーンが出てくると思います。 マネジメントコンソールから削除を行うことが出来ますが S3 バケットではバケット内にファイルが存在している場合は削除することが出来ないので、まず「空にする」機能を使ってバケット内のファイルを削除する必要があります。 今回削除したいバケットの数が多かったのでこのバケットを空にする操作を AWS CLI で行おうとしたのですが、思いの外面倒だったので方法を共有しておきます。 公式ドキュメントでは AWS CLI の場合 s3 rm を使うように案内されている まず、S3 バケットを空にする方法は公式ドキュメントでも案内されています。 ここでは以下のようにs3 rmコマンドを使ってファイルを削除する方法が案内されています。 % aws s3 rm s3://hoge1023bucket --recu
EC2からS3へアクセスする4つのルートとコスト - NRIネットコムBlog
こんにちは佐々木です。以前、『AWSのグローバルIPの空間はインターネットなのか？』と題して、AWSのパブリックIP同士の通信が何故AWSのプライベートネットワークの通信になるのかという話をしました。その中で、PrivateLinkの必要性はどう考えるべきなのかという事に、少しだけ言及しました。今回は、そこをもう少しだけ深ぼって見てみましょう。ユースケースとしても多いであろう、EC2からS3の通信の例でみてみます。 tech.nri-net.com EC2からS3へアクセスする４つのルート EC2からS3へアクセスするルートとしては次の４つがあります Internet Gateway NAT Gateway VPC Endpoint（Gatewayタイプ） PrivateLink（Interfaceタイプ） それぞれの構成と利用に関わる費用をみてみましょう。なお、今回ご紹介するコストは、S
Meow Attack（ニャー攻撃）で稼働中WebアプリのAWS S3保存画像を全削除されてしまった… - あなたとあなたの話がしたい
突然S3の画像がすべて削除された 自作のRailsアプリの短歌投稿サイトUtakataをいつものように眺めていたら、一部のユーザーのアイコンが表示されていないことに気づいた。もしやと思ってブラウザのキャッシュをクリアしてみたら、すべてのユーザーのアイコン画像がリンク切れになっていた。 当初はライブラリの問題かと思ったけれど、念の為AWSにログインしてS3のバケットを見てみたら、なんと最近アップロードされた不審なindex.htmlを残してすべての画像ファイルが削除されていた。 明らかに第三者から悪意のある攻撃を受けている事態に頭が真っ白になりそうだったけれど、取り敢えずAWSアカウントのパスワードを変えてからindex.htmlのソースをチェックし、危険性がないことを確認してから開いてみた。 猫のキャラクター画像に謎の文字列が羅列され、meow（ニャー、猫の鳴き声）。 HTMLファイルのソ
Amazon S3 静的サイトホスティングに対して、ワイルドカードによる DNS レコードは使わないでください | DevelopersIO
旬の生魚おじさん、都元です。弊社は本日を最終営業日として、これから冬季休業となります。 今年も一年、どうもありがとうございました。というわけで恒例の書き納め三本締め、その1。 だいぶ昔に「AWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む）」というエントリーでご紹介しましたが、Amazon S3 には静的ウェブサイトホスティングという機能があります。 静的 (つまり、状況に応じて異なるコンテンツを返さない、常に同じコンテンツを返す) ウェブサイトは、特に EC2 などのサーバーを立ち上げずに、S3 の機能を使って実現できます。古くからある機能です。 この機能は、さらに Amazon Route 53 によって ALIAS レコードを設定することにより、独自ドメインによるホスティングも可能です。これも古くからある機能です。 このあたりの詳細は AWS ドキュメントのチュート
S3の利用料金を損してるかも？安心して利用するための設定をしましょう | DevelopersIO
普段何気なく利用しているS3ですが、気づかないうちに無駄な利用料金が発生しているかもしれません。このブログを見た事をきっかけに、自動で無駄を消去する設定をすることで安心して利用できるようにしましょう。 はじめに こんばんは、菅野です。 皆さんは Amazon S3 の利用料金って厳密な計算なんてしてないですよね？ もちろん私もしてませんし、今後も恐らくしません。 でも、自分では知らないうちに無駄な利用料金が発生してるかもしれないとしたらどうでしょう？ 今回のブログではその「無駄」を自動で削減してもらうための設定についてご紹介します。 マルチパートアップロードを知ってますか？ S3 は最大5TBまでのオブジェクト（ファイル）を保管できるのですが、保存のため一度に送信できるサイズは5GBという制限があります。 ではどうやって5TBのオブジェクトを保存するのか？というと aws cli や SD
【速報】新機能！S3 Access Analyzerがリリースされました！【導入5分 / ノーコスト】 #reinvent | DevelopersIO
S3 Access Analyzerとは S3 Access Analyzerは本日発表された、S3のアクセスコントロールに問題がないか検知するための新機能です。 Monitor, review, and protect Amazon S3 buckets using Access Analyzer for S3 | AWS Storage Blog Now you can use the new Access Analyzer for S3 to discover, review & remediate unintended permissions for S3 buckets or objects. #reInvent https://t.co/CiR59f9Zp6 pic.twitter.com/nBvrwqnxSN — AWS re:Invent (@AWSreInvent) De
【注意喚起】 2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなります。 | DevelopersIO
2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなる、との発表がありましたのでシェアします。 Announcement: Amazon S3 will no longer support path-style API requests starting September 30th, 2020 2021.01.27 追記 2020年9月23日に以下の追加アナウンスがありました。 ・ユーザーが仮想ホスト形式への移行に必要な時間を確保するための措置として、パス形式の非推奨化は少なくとも 1 年間延期されました。執筆時点において新規バケットについてもパス形式のリクエストは可能ですが、あくまで延期であるため新規に作成されるものについては、仮想ホスト形式を前提にしたほうが良い点は変わらないと思います。 ・また、互換性の理由から仮想ホスト形式においてもドットが含まれる
SFTP on EC2 から透過的に AWS Transfer for SFTP に切り替えてみた #reinvent | DevelopersIO
これまで 「S3 に直接 SFTP したい」 という要望はたくさんあったかと思います。しかし、従来は対応していなかったため EC2 に一度アップロードしてから、S3 に持っていくなどの対応が必要でした。 今回、新たにリリースされた AWS Transfer for SFTP によって、直接 S3 に SFTP できるようになりましたので、「だったら、そっちに移行したいなぁ」とお考えの方も少なくないと思いますので、ユーザから透過的に切り替えられるか試してみよう、と思ったのでやってみました。 やりたいこと 今回やりたいことは、図にするとこんな感じです。アクセス先をユーザから透過的に AWS Transfer for SFTP に切り替えて、クライアント側の設定はそのままでアクセスできることを確認します。 前提 移行環境の前提は下記のとおりです。 既存の FTP アクセスはドメイン名を使用してい
新サービスAWS Transfer for SFTPを使って、WinSCPからS3へアクセスする #reinvent ｜ DevelopersIO
はじめに 日本時間の2018年11月26日夕方、AWSからマネージドSFTPサーバ"AWS Transfer for SFTP"が発表されました。 “AWS Transfer for SFTP”発表！S3がSFTPで連携可能に！！ #reinvent こちらのサービスを早速使ってみました。 AWS Transfer for SFTP(AWS SFTP)を使う SFTPサーバの起動 AWS管理コンソールにログインし、東京リージョンでサービスを検索します。ありました。 サービスのトップページです。Create Serverボタンを押します。 サーバ起動設定画面では、以下が設定できます。 これら設定の殆ど(Identity provider以外)はSFTPサーバ作成後にも変更できます。 DNS configuration： SFTPサーバの名前解決 None: 使用しない(自動生成されたエンドポ
New Service: AWS Transfer for SFTP, a fully managed SFTP service for Amazon S3
AWS Transfer for SFTP では、Secure Shell File Transfer Protocol (SFTP) を使用するファイル転送ワークロードを、アプリケーションの変更や SFTP サーバーの管理を行う必要なく AWS に簡単に移行できます。 AWS Transfer for SFTP (AWS SFTP) の開始方法は簡単です。SFTP サーバーを作成して、ドメインをこのサーバーエンドポイントにマッピングします。サービスが管理する ID を使用して SFTP クライアントの認証を選択するか、独自の ID プロバイダーを統合します。そして、転送するデータを保存する Amazon S3 バケットを選択します。既存のユーザーは引き続き既存の SFTP クライアントやアプリケーションを使用できます。Amazon S3 バケットでは SFTP を使用してアップロードまた
AWS CLIを使ってS3上にあるファイル数とファイルサイズの合計を取得する | DevelopersIO
Amazon Athenaの料金はスキャンしたデータ量で決まるので、特定のフォルダ以下のファイルサイズの合計をAWS CLIで取得する方法を調べたのですが忘れそうなのでメモしておきます。以下のコマンドでファイル一覧の後にファイル数とサイズの合計が出力されます。 aws s3 ls s3://[バケット名]/[フォルダ名]/ --recursive --human --sum オプションの説明になります。 --human-readable(--humanだけでも可)：ファイルサイズに単位をつけて見やすくしてくれるオプション --summarize (--sumだけでも可)：合計サイズとオブジェクトの数を表示してくれるオプション --recursive：指定したフォルダの中にフォルダがあった場合にその中のファイルも対象にするオプション バケットごとの使用量やファイル数はCloudWatchで見
Amazon Athena Webアクセスログ、CloudFrontのログ、CloudTrailのログのパーティション設定を自動化する | DevelopersIO
はじめに Webアクセスログ（ELB）、CloudFrontのログ、CloudTrailのログは、YYYY/MM/DD形式のフォルダの下に自動的に保存されます。Amazon Athenaは、S3上のログファイルに対してテーブル定義して、クエリを実行できます。しかし、大量のログファイルを高速かつコスト効率よくクエリするにはパーティションを設定する必要があります。今回はこの煩雑なパーティション設定を自動化する方法をご紹介します。 カラム名あり（Hive互換）とカラム名なしのパーティション パーティションは、カラム名あり（Hive互換）パーティションとカラム名なしパーティションの２つに分類されます。 カラム名あり（Hive互換）パーティションは、フォルダ名がキーバリュー形式になっており、例えばyear=YYYY/month=MM/day=DD形式で保存されています。この形式はMSCK REPIR
Amazon S3 アップデート – 新しいストレージクラスと、S3 Selectの一般公開 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 アップデート – 新しいストレージクラスと、S3 Selectの一般公開 Amazon Simple Storage Service (S3) にデータを格納及び取り出しをされているすべての皆様に、二つの大きなニュースがあります。 新機能 S3 One Zone-IA ストレージクラス – この新しいストレージクラスは、現在の Standard-IA ストレージクラスよりも 20% ほど低価格です。地域間での冗長性による、より高い保護レベルを必ずしも必要としないデータを格納する用途に設計されているものです。 S3 Select の 一般公開 – このユニークなデータ取得オプションにより、シンプルな SQL式を使って S3 オブジェクトから一部のデータのみを取得することができ、400% もの性能改善を期待できる可能性がありま
AWS再入門2018 クラウドストレージサービス編 | DevelopersIO
こんにちは。池田です。節分を迎えてからはAlexaスキル開発トレーニングを参考に少しずつ勉強を進めています。具体的なオリジナルスキルのアイデアはまだぼんやりしていますが、新しい技術に触れられる時間は楽しいですね。 自身の学習用にと各サービスの特徴など基本事項を中心に整理してきたAWS再入門2018シリーズですが、ついにDevIO公式シリーズとしてひとつのカテゴリーになりました。興味のある方はこちらから他の投稿もご覧ください。 はじめに 今回はAWSが提供している5つのクラウドストレージサービスについて、それらの特徴と違いなどを整理していこうと思います。 もくじ 概要 Amazon Simple Storage Service（Amazon S3） Amazon Elastic File System（Amazon EFS） Amazon Elastic Block Storage（Amaz
S3の からにこもる ぼうぎょりょくが 100あがった - ZOZO TECH BLOG
こんにちは。インフラエンジニアの光野です。 AWS re:Invent 2017で次々と新発表があり、ワクワクがとまりません。また最近はACMがDNS検証で証明書を発行できるようになったり、SpotFleetがELB Auto Attachできるようになったり、個人的に嬉しいアップデートが続いています。来年もますますAWSのファンになりそうです。 さて、そんなキラキラ（？）した話題は一旦おいて、本記事では泥臭くAmazon S3の権限管理について考えたいと思います。 S3と権限管理 ご存知の通り、S3は99.999999999％の耐久性と実質無限の容量を持つオブジェクトストレージです。弊社では主にファッションアイテムの画像とコーデ画像の保存先として利用しています。 保存は俺に任せろと言わんばかりのS3ですが、一方でオブジェクトの権限管理は利用者に委ねられています。 「誰が・どのオブジェクト
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
安全なファイル転送 - ファイル転送サービス - AWS Transfer Family - AWS