CloudFrontで地域指定によるアクセス制御をしてみた。 | DevelopersIO
はじめに こんにちは、 岩崎 です。 本記事では、CloudFrontの地域指定によるアクセス制御を試してみました。 国単位でアクセス制御ができるため、限定的にコンテンツを配信したい場合に使用できます。 やってみた 本記事の内容に入る前に、下記の記事を参考にCloudFront経由でS3の静的Webサイトを公開する手順を完了してください。 アクセスできることを確認する。 アクセス制御の設定をする前に、作成したリソース（今回はWebサイト）にアクセスできることを確認します。 できること CloudFrontの地域アクセス制御（Geo-restriction）は、特定の地理的位置からのコンテンツへのアクセスを制限または許可する機能です。この機能を使用することで、ウェブサイト所有者やコンテンツ配信者は、特定の国や地域からのアクセスを制御できます。 CloudFrontのコンソールから作成したディ
[AWS IoT Core]容量が大きいファイルを取り扱う際にS3の署名付きURLを活用してファイルアップロードする | DevelopersIO
はじめに コンサルティング部の神野です。 デバイスからファイルなどの画像を送信する際、MQTTのペイロード上限は128KBのため、大きいファイルの取り扱いが難しいことがあります。 前回は認証情報プロバイダーを活用してファイルアップロードを実現しましたが、今回はS3の署名付きURLを活用してファイルアップロードを実装します。 署名付きURLについて 署名付きURLは、AWS S3で一時的なアクセス権を付与するための仕組みです。この仕組みを使用することで、通常はアクセス権のないユーザーやアプリケーション、そして本記事のケースではIoTデバイスに対して、特定のオブジェクトへの一時的なアクセスを許可することでS3へのアップロードを実現します。 実装イメージ 実装のイメージは下記となります。処理の流れとしては以下のように実装します。 デバイス側からMQTT通信で署名付きURL取得のリクエストをAWS
![[AWS IoT Core]容量が大きいファイルを取り扱う際にS3の署名付きURLを活用してファイルアップロードする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5662d54560363cb8aaf43cf6f913b791f1eda2ac/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-06e039aecab973a68134b7db69ff9ffd%2Fbd37c8691e5a1f5e3b239f6e8a3888af%2Faws-iot-core)
S3のブロックパブリックアクセスが怖くなくなった【AWS S3】
設定画面の日本語の意味が理解できない この画面。 S3これから使っていこうというユーザーの心を闇へ引きずり込み、そっとキャンセルボタンへマウスカーソルを誘導する設定画面だと思います。 S3の基礎なのかもしれませんが、すごく分かりづらい。 アクセス許可の種類 ブロックパブリックアクセスの説明の中にいくつか重要な単語が出てきていたかと思います。 パブリックバケットポリシー アクセスポイントポリシー アクセスコントロールリスト（ACL） これらは、S3にはいくつかアクセス許可の手段がありそれらを制御するためのポリシー類になります。 これを絵するときっとこんな感じです。（間違ってたらごめん） インターネットやVPCなどからアクセスする際には必ずどこかのポリシーを経由しアクセスされるわけです。 ちなみに、AWSのコンソール上からのアクセスはどこ？となるのですが、ACLになります。 デフォルトでACL
【アップデート】S3でACLを無効化できるようになりました #reinvent | DevelopersIO
re:Invent 2021 の期間中に登場した以下アップデートを紹介します。 どんなアップデート？ S3バケットに 『ACL無効』 の設定を付与できます。 この設定は新規バケット作成時にも設定可能、既存バケットに対しても追加で設定可能です。 何が嬉しいの？ ひとことで言うと 「ACLを捨てて、全部ポリシーで管理したいなああぁ…」 を叶えてくれます 詳しく S3 は歴史あるサービスです。 当初は S3バケットに対するアクセス制御の手段は ACL のみでした。 S3バケットはデフォルトでプライベートです。 そのため 他アカウント(もしくはパブリック)からのアクセス許可は ACL で実現しました。 その後 IAM が提供されて、アクセス制御の手段として ポリシー(IAMユーザーポリシーやバケットポリシーなど) が追加されました。 つまり現在、 S3バケットに対するアクセス制御は ACL と ポ
Amazon S3 セキュリティとバックアップのベストプラクティス - Qiita
はじめに AWS内にデータを保管する際、多くのケースでS3が第一の選択肢となるかと思います。 一方で、データ保管にはセキュリティやバックアップの設定が不可欠であり、適切に設定しないとデータの窃取・消失リスクが増大してしまいます。 本記事では、上記リスクを下げるために役立つS3のセキュリティとバックアップ機能をまとめた上で、公式ベストプラクティスの実践方法を整理しました！ 「S3を何となく使っているけど、適切に設定できているか不安」という方に、ぜひご一読頂ければと思います。 概要 本記事は、以下の3節から構成されます S3のセキュリティ機能 バックアップとバージョン管理 ベストプラクティスの実践 順を追って解説します S3のセキュリティ機能 S3は大容量データを保管するという性質上、当然機密情報が含まれるケースを想定しなければなりません。 例えば、2021年に巷を騒がせた免許証流出事件も、(
AWSの設定値保存：最適な方法を選ぶためのガイド - KAKEHASHI Tech Blog
この記事は秋の技術特集 2024の 17 記事目です。 はじめに Musubi AI 在庫管理で DevOps エンジニアをしている kacky です。 Web アプリケーションの開発において、設定値の管理は避けて通れない課題です。データベース接続情報や 機能フラグなど、アプリケーションの挙動を左右する重要な情報を安全かつ効率的に扱う必要があります。 AWS では、設定値の保存に利用できるサービスがいくつか存在します。本稿では、特に S3, AppConfig, Parameter Store の 3 つに焦点を当て、それぞれのメリット・デメリットを比較し、最適な設計を選択するための決定法を紹介します。 なぜ設定値の保存先を検討する必要があるのか？ 設定値をアプリケーションのコード内に直接記述してしまうと、環境ごとに設定を変更する際にコードを修正する必要が生じ、運用ミスやセキュリティリスク
Dive deep on Amazon S3 セッションレポート | iret.media
AWS Summit Japan 2024 Day1の「Dive deep on Amazon S3」というセッションに参加したのでレポートします！ S3の裏側の仕組み を3層にわけて解説し、高いスケーラビリティ・耐久性・セキュリティ・パフォーマンスをどのようにAWSが実現しているか。 それらの効果を更に上げるため「利用者側でやるべきこと(=ベストプラクティス)」とは何か。 また後半では「超低レイテンシーなストレージクラスであるS3 Express One Zone」「S3の削除保護の方法４つ」の紹介がありました。 このレポートではセッションで語られた内容の概要と、それに関連する公式ドキュメントのリンクをいくつかメモしています。 実際のセッションではスライド投影される内容やドキュメントに書かれていることだけでなく、それに沿った細かい例や考え方、「なぜそうなのか」がスピーカーの言葉により強く
Turn petabytes of relational database records into a cost-efficient audit trail using Amazon Athena, AWS DMS, Amazon RDS, and Amazon S3 | Amazon Web Services
AWS Database Blog Turn petabytes of relational database records into a cost-efficient audit trail using Amazon Athena, AWS DMS, Amazon RDS, and Amazon S3 Many AWS manufacturing customers are legally required to keep production records for years—sometimes decades. These audit trails are used to prove compliance with process specifications or to track provenance of parts. Having a complete and corre
CloudWatch Logs と S3 にかかる料金比較 | DevelopersIO
コーヒーが好きな emi です。 私は CloudWatch Logs というサービスが便利で好きなのですが、一般的に「S3 と比べてコストがかかる」という印象を持たれている方が多いと感じています。 何にどれくらいコストがかかっているのか どんな時に CloudWatch Logs への保存を考えたらいいのか コスト削減するにはどのようなアーキテクチャにしたらいいのか 等を調査しまとめました。 料金簡易比較表 ※ 2024/5/25 時点の東京リージョンでの料金で、$1 = 156円換算 ※ どちらも保存クラスがスタンダードの場合 ※ S3 の書き込み料金はリクエスト回数によって計算されるため、下記表では 1 GB のファイルを 1 回でアップロードすることを想定して計算している CloudWatch Logs S3 Standard
S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する | DevelopersIO
データアナリティクス事業本部のueharaです。 今回は、S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得してみたいと思います。 はじめに S3にデータ容量の大きなparquetファイルがあり、例えばLambda内でそのparquetファイルのスキーマ情報を取得したい際にデータを丸ごとLambdaに持ってくるのは不都合な場合があります。 そこで、S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得してみたいと思います。 parquetファイルの構造 parquet-formatを見ると、parquetファイルの構造は以下のようになっております。 （参考） これを見ると、Footer情報にメタデータが存在し、実際のFooter情報の長さは最後の8バイトの内前半の4バイトに保存されており、後半の4バイトは PAR1 というマジックナン
特定の IAM ロールのみアクセスできる S3 バケットを実装する際に検討したあれこれ | DevelopersIO
今回は S3 バケットへのアクセスを特定 IAM ロールからのみに限定して利用する機会がありましたので、設定方法と検討したあれこれをご紹介します。 やりたいこと 構成図はこんな感じ 前提条件 IAM ロールと S3 バケットは同一アカウントに存在する IAM ロールには S3 を管理する権限がアタッチされている 今回は AmazonS3FullAccess ポリシーをアタッチしています NotPrincipal でやってみる 「特定 IAM ロール以外は制限する」という考え方でパッと思いつくのは、以下のような NotPrincipal で制限する方法かと思います。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Deny", "NotPrincipal": { "AWS": "arn:aws:iam::xxxxxxxxxxxx:
AWS S3 署名付きURL にアップロード | なおやの日記
AWS S3 の署名付き URLとは AWS S3 の署名付き URL（Presigned URL）は、Amazon S3（Simple Storage Service）内のファイルにアクセス権限を一時的に付与するための URL です。署名付き URL を使用すると、パブリックアクセスができないバケット内のファイルにセキュアにアクセスすることができます。 署名付き URL には、次の機能があります 有効期限を設定して、特定の URL からのみアクセスできるようにする アップロード用 (POST) の署名付き URL を使用すると、クライアントが直接 S3 バケットにファイルをアップロードできる アップロード 署名付きURLを使用してファイルをアップロードするには、通常のHTTPリクエストを使用します。このリクエストは、生成された署名付きURLに対してPUTまたはPOSTリクエストを送信する
[AWS CDK] CloudFront のカスタムオリジンとして Amazon S3 のウェブサイトエンドポイントを指定した場合のアクセス制御について検証してみた | DevelopersIO
[AWS CDK] CloudFront のカスタムオリジンとして Amazon S3 のウェブサイトエンドポイントを指定した場合のアクセス制御について検証してみた 2023/01/17 追記：本記事の検証について、キャッシュの考慮をしておらず正しい検証結果を得られていませんでした。再検証を次の記事で行っているので、合わせてご覧ください。 https://dev.classmethod.jp/articles/re-amazon-cloudfront-custom-origin-access-control-verification-with-amazon-s3-website-endpoint/ こんにちは、CX 事業本部製造ビジネステクノロジー部の若槻です。 Amazon CloudFront では、Distribution のカスタムオリジンとして S3 バケットのウェブサイトエンド
![[AWS CDK] CloudFront のカスタムオリジンとして Amazon S3 のウェブサイトエンドポイントを指定した場合のアクセス制御について検証してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7f5a127e5201674dfcf5fd03efa1e4666981653/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cloudfront.png)
マルチアカウント環境における S3 バケットのレプリケーション設定方法 - サーバーワークスエンジニアブログ
カスタマーサクセス部 岡部です。 今年(2023年)の1月に S3 バケットが実質強制的に暗号化されるようになりました。 aws.amazon.com このアップデートによるマルチアカウントでのレプリケーションへの影響がありそうだと思い、実際にやってみましたのでご紹介します。 はじめに AWS 環境構成図 設定方法 前提条件 1. レプリケーション元 S3 のバケットポリシー 2. レプリケーション元アカウントでの IAM Role 作成 Permissions policies Trusted entities 3. レプリケーション先 S3 のバケットポリシー 4. レプリケーション設定 おまけ. レプリケート設定後に間違ってレプリケート先の S3 オブジェクトを消してしまった場合の再レプリケート おわりに はじめに AWS Organizations を利用したマルチアカウント環境で
Amazon S3 Express One Zone にディープダイブ #AWSreInvent | DevelopersIO
re:Invent 2023 の Breakout セッションの 1 つ「Deep dive on Amazon S3 Express One Zone storage class」のレポートです。個人的な見どころを中心に紹介します。ご興味あれば公開されているセッション動画をご視聴ください。 セッション概要 以下は機械翻訳です。 Amazon S3 Express One Zoneストレージクラスは、一貫した1桁ミリ秒のレイテンシと、頻繁にアクセスされるデータセットのために毎分数百万のリクエストに拡張する能力を必要とするパフォーマンスクリティカルなアプリケーションのために、最速かつ低レイテンシのクラウドオブジェクトストレージの1つを提供します。本セッションでは、この新しい単一のアベイラビリティゾーンのストレージクラス、新しいS3ディレクトリバケット、そしてコンピュートリソースをより効率的に
Amazon S3 Express One Zone って本当に速いのか？計測してみた - サーバーワークスエンジニアブログ
こんにちわ！サーバーワークス日本最南端社員の久保玉井（くぼたまい）です。 先週、ラスベガスで開催された re:Invent2023 に参加してきたのですが、その中の発表で「 Amazon S3 Express One Zone 」なる新しい S3 のストレージクラスが発表されました。 「ちょっ速になる！」という印象で、気になったので本当に速いのか計測をしてみました。 この記事がどなたかのお役に立てれば嬉しいです。 Amazon S3 Express One Zone とは？ 読み込み速度を比較してみた S3 Standard ストレージクラスで新規にS3バケットを作成 S3 Express One Zone 用のディレクトリバケットも作成 VPC を作成し、S3 および S3 Express One Zone 用のエンドポイントをそれぞれ作成 EC2 インスタンスを立ち上げて ファイルを生
Amazon S3 Express One Zoneの性能測定をしてみた - NRIネットコムBlog
こんにちは、佐々木です。re:Inventの基調講演で発表されたAmazon S3 Express One Zoneについて、さっそく調査してみました。 写真は、re:Inventの会場にいたS3のマスコットキャラです。イベント初日は、Express One Zoneの腹巻をしていなかったのですが、サービス発表後はExpress One Zoneという名前で会場内を闊歩していました。 Amazon S3 Express One Zoneとは？ Amazon S3 Express One Zoneは、S3の新しいストレージクラスです。従来も、ひとつのAZのみにデータを配置するOne Zoneもありましたが、これはコスト削減を主眼としたストレージクラスです。今回発表されたExpress One Zoneは、名前に明記している通り、速さに特化したサービスラインナップです。発表では、特に小さなファ
Amazon Athena と Amazon S3 Express One Zone でデータレイクのクエリを高速化
本日より、Amazon Athena を使用して、Amazon S3 Express One Zone ストレージクラスに保存されているデータに対してクエリを実行できるようになりました。これにより、クエリのパフォーマンスが S3 Standard と比べて最大 2.1 倍向上します。S3 Express One Zone は、アクセス頻度が最も高いデータやレイテンシーの影響を受けやすいアプリケーションに対して 1 桁ミリ秒単位の一貫したデータアクセスを提供するために構築された、高性能な単一アベイラビリティーゾーンストレージクラスです。 Athena はサーバーレスのインタラクティブな分析サービスです。ペタバイト規模の S3 データレイクを簡単かつ柔軟に分析できます。ビジネスインテリジェンスの分析やレポート作成、財務リスクのモニタリング、センサーデータの処理など、レイテンシーが重要なデータレ
設計パターンのベストプラクティス: Amazon S3 のパフォーマンスの最適化 - Amazon Simple Storage Service
Amazon S3 のストレージに対してアップロードおよび取得を行う際に、アプリケーションはリクエストのパフォーマンスとして 1 秒あたり数千のトランザクションを容易に達成できます。Amazon S3 は、高いリクエストレートに自動的にスケールされます。例えば、アプリケーションは、パーティショニングされた Amazon S3 プレフィックスごとに毎秒 3,500 回以上の PUT/COPY/POST/DELETE リクエストまたは 5,500 回以上の GET/HEAD リクエストを達成できます。バケット内のプレフィックスの数に制限はありません。並列化を使用することによって、読み取りまたは書き込みのパフォーマンスを向上させることができます。例えば、Amazon S3 バケットに 10 個のプレフィックスを作成して読み取りを並列化すると、読み取りパフォーマンスを 1 秒あたり 55,000
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Turbocharge Amazon S3 with Amazon ElastiCache for Redis | Amazon Web Services