[アップデート] インターネットトラフィックのパフォーマンスが最大60%向上！Amazon S3 マルチリージョンアクセスポイントの紹介 アップデートからしばらく時間が経ってしまいましたが、先日リリースされた Amazon S3 Multi-Region Access Point についてご紹介します。 Amazon S3 Multi-Region Access Point が、レプリケートされたデータセットへのアクセスを最大 60% 加速 S3 Multi-Region Access Point グローバル展開されるアプリケーションやリージョン障害を考慮したアーキテクチャを設計する際に、S3 のクロスリージョンレプリケーション(CRR)は広く採用されている方法です。 しかしながら CRR で複数リージョンのバケットにオブジェクトを配置できたとしても、最短のレイテンシでアクセスするためにど

本日のアップデートで Amazon S3 Storage Lens がリリースされました。 Amazon S3 Storage Lens delivers organization-wide visibility into object storage usage and activity trends S3 Storage Lens とは S3 Storage Lens はオブジェクトストレージの使用状況とアクティビティの傾向を可視化し、コスト効率化、データ保護に関するベストプラクティスに向けた推奨事項が提供されます。また AWS Organizations と連携することで AWS Organizations 内のアカウント全体のストレージ使用状況、アクティビティを単一ビューで管理できます。 無料でも使える！ 標準メトリクスのみの場合、S3 Storage Lens は無料で利用できま

いずれも東京リージョンでの価格です。最新情報は公式の価格表を参照ください。 従来の Macie は Macie Classic という名前に変わっているようですね。 Amazon Macie Classic 従来の Amazon Macie はこのタイミングで Amazon Macie Classic と改名されているようですね。こちらの対応リージョンは変わっていないので、東京リージョンでは利用できません。 公式ガイドも Amazon Macie と Amazon Macie Classic で分けられているのでご注意ください。 Amazon Macie 公式ガイド Amazon Macie Classic 公式ガイド 注意点 個人識別情報(PII)については、日本の運転免許証などは未対応のようです。新しい製品ページ（en）を見ても、特に対応言語についての言及はありませんが、まだ日本語には

本日のアップデートで AWS Transfer for SFTP に、FTP および FTPS プロトコル対応が追加されました。 New – AWS Transfer for FTP and FTPS, in addition to existing SFTP サービス名称としては AWS Transfer Family となっているようです。 何がうれしいのか これまで SFTP のみに対応していましたが、FTPS および FTP の対応によって SFTP に対応していない端末からも AWS Transfer Family が利用可能となります。 ただし、AWS Transfer for SFTP と違って、FTPS および FTP はパブリックエンドポイントに対応しておらず VPC エンドポイントでのみ利用可能です。また、FTP においては VPC エンドポイントの中でも EIP を使

しばたです。 マネージドのSFTPサービスであるAWS Transfer for SFTPですが、サービスが提供されてから本日に至るまでに幾つかの機能追加がされており、実装可能な構成も変わっています。 本記事では本日(2020年4月18日)時点でどの様な構成を実装可能なのか解説します。 FTPおよびFTPSサポートについて【2020.04.24追記】 2020年4月24日より、SFTP以外にFTPおよびFTPSプロトコルがサポートされる様になりました。 詳細は上記の記事をご覧いただきたいのですが、プロトコル毎で利用可能な構成が異なりますのでご注意ください。 加えてFTP、FTPSの全機能が使えるわけではなく機能制限もありますのでこちらもご注意ください。 【追記ここまで】 これまでの更新 実現可能な構成に触れるまえに軽く歴史的経緯について触れておきます。 サービスリリース時 AWS Tran

S3 の GuardDuty 的なサービスが本当は欲しいんやけど。無いものは無いので簡易的に異常アクセス数を検出する仕組みを作ってみた。 みなさん、S3 の異常アクセスてどうやって検出していますか？ EC2 への異常アクセスであれば GuardDuty がありますよね。CloudFront, ALB, API Gateway であれば AWS WAF がありますよね。S3 は？ S3 Access Analyzer？ あれは 99% アクセス分析やってくれそうなサービス名ですが、アクセスが来たものを対象に分析するサービスではなく、「アクセスされる危険性があるよー」という分析をしてくれるサービスなので違うんですよ。 AWS CloudTrail Insights？ あー、CloudTrai Insights は API コールのアクティビティを機械学習し、異常な挙動が起きた場合に知らせてくれ

みなさん Macie 使ってますか？ え。読み方知ってますよね・・（震え声 Amazon Macie は S3 のオブジェクトを機械学習によって機密データの検出、クラス分類、不正アクセスの危険性があるものをアラートで配信してくれる非常に便利なサービスです。 冒頭、「使ってますか？」と聞いたものの、残念ながら東京リージョンにはまだ来ておらず、利用できるのはバージニアとオレゴンのみです。早く東京リージョンに来て欲しいサービスの 1 つですね。 今回、Macie を使うなかでアラートの誤検知に遭遇する機会がありましたので、その際に行った対処等についていご紹介したいと思います。 Macie について 「Amazon Macie って何だっけ？」という方は、是非、以下の記事をあわせてお読みください。ちょっと古い記事にはなりますが、それほどアップデートも多くないので概要を把握するには十分な記事となって

今回は S3 バケットへのアクセスを特定 IAM ロールからのみに限定して利用する機会がありましたので、設定方法と検討したあれこれをご紹介します。 やりたいこと 構成図はこんな感じ 前提条件 IAM ロールと S3 バケットは同一アカウントに存在する IAM ロールには S3 を管理する権限がアタッチされている 今回は AmazonS3FullAccess　ポリシーをアタッチしています NotPrincipal でやってみる 「特定 IAM ロール以外は制限する」という考え方でパッと思いつくのは、以下のような NotPrincipal で制限する方法かと思います。 バケットポリシー { "Version": "2012-10-17", "Statement": [ { "Effect": "Deny", "NotPrincipal": { "AWS": "arn:aws:iam::xxxx

S3 オブジェクトロック使っていますか？（ナニソレ？　という方は、以下の記事をどうぞ） 今回、S3 に保存しているログの改ざん防止という要件で S3 オブジェクトロックを使う機会がありました。S3 オブジェクトロックには以下の2つのモードがあります。 ガバナンスモード 特定の権限を持っている場合、削除が可能 コンプライアンスモード もう何をやっても削除できない 今回はガバナンスモードでの運用を想定し、どの権限が与えることでロックされたオブジェクトが削除できるのかを確認してみた、という記事になります。 やってみる まずは AmazonS3FullAccess で まずはガバナンスモードを設定したバケットに AmazonS3FullAccess 権限を持ったロールで削除してみます。 綺麗サッパリ削除できますね。 AmazonS3FullAccess だと削除できることは判りましたので、次にどの

これまで S3 のレプリケーションにおいて、「既存オブジェクトはレプリケーション出来ない」とばかり思っていましたが、2019年11月頃にひっそりと既存オブジェクトのレプリケーションが出来るようになっていたのをご存知だったでしょうか?（私は先日、S3 の公式ガイドで見つけるまで知りませんでした） そういえば SDK のアップデートはあったよね 公式ブログでアップデートリリースを見た記憶がありませんが、そういえば11月頃の SDK リリース情報に「既存オブジェクトのレプリケーションをサポート」ってありましたよね。 Aws\S3 - Added support for S3 Replication for existing objects. This release allows customers who have requested and been granted access to re

S3 へのアクセス元を限定する場合に、複数の否定条件を使った Deny でバケットポリシーを書くことがありますが、これは AND 条件なの？ OR 条件なの？ と混乱することがあるので、わかりやすく図解で考えてみました。 想定環境 今回、想定する環境は下図のとおりです。前提条件として「同一アカウントの IAM ポリシーで、S3へのアクセス権限は与えられている」(明示的な Allow は不要)とします。 "192.228.xx.xx/32" はインターネット経由のアクセス "10.0.0.0/24" は、VPC エンドポイント経由のアクセス バケットポリシーのおさらい バケットポリシーについては、弊社 北野の記事がとても参考になります。 S3バケットポリシーの具体例で学ぶAWSのPolicyドキュメント 押さえておきたいのは以下の図です。 つまり複数条件を書く場合、以下のいずれかになります。

待望のアップデートがリリースされました！S3 バケットの同一リージョン内でのレプリケーションです！ Amazon S3 introduces Same-Region Replication これまで異なるリージョンのバケットに対して Cross-Region レプリケーション(CRR)を行うことは出来ましたが、同一リージョンのバケットに対しても Same-Region レプリケーション(SRR)が出来るようになりました。 なにが嬉しいのか 従来は異なるリージョンのバケットしかレプリケーションできなかったので、同一リージョン内で複製したい場合には S3 のマネージド機能ではなく、何らかの作り込みでオブジェクトをコピーする必要がありました。（S3 バッチオペレーションもあるかもしれませんが、ちょっとした複製にはコストがあわないですね） 今回、同一リージョン内のレプリケーションがサポートされたこ

以下のように特定 IP アドレスのみにアクセス許可している S3 バケットに対して、非 VPC Lambda で GetObject したい場合にどうしたら良いでしょうか？ (前提としては各 IAM ロールで S3 への Allow 権限は与えています。) IP 制限されたバケットポリシー { "Version": "2012-10-17", "Statement": [ { "Effect": "Deny", "Principal": "*", "Action": "s3:GetObject", "Resource": "arn:aws:s3:::<BUCKET-NAME>/*", "Condition": { "NotIpAddress": { "aws:SourceIp": "59.xx.xx.xx/32" } } } ] } VPC Lambda を使えばアクセス元が限定できるので