よく使いそうなS3関連のセキュリティ機能をまとめてみる | DevelopersIO
よく使いそうな S3関連のセキュリティ機能を主観でまとめてみます。 「汎用的」、「便利」、「コスパが良い」といった基準で選びました。 6つのセキュリティ機能を説明していきます。 ブロックパブリックアクセス ACL無効化 デフォルト暗号化 S3 Storage Lens GuardDutyの「S3保護」 Security Hubの「セキュリティ基準」 ブロックパブリックアクセス(以降 BPA) 「意図しないS3バケットの公開」を未然に防ぐ ための機能です。 アカウントレベル、もしくはバケットレベルで設定できます。 設定パラメータは 4つあります。 BlockPublicAcls … パブリックACLを付けた投稿(Put Object)ができなくなります IgnorePublicAcls … すべてのパブリックACLを無視します BlockPublicPolicy … パブリックなバケットポリ
AWSアカウント間のS3, DynamoDBデータ移行計画の記録（データ完全性検証方法の検討） | DevelopersIO
こむろ＠事業開発部です。 前回 の続きです。 そろそろ諸々の記憶が薄れ始めている頃なので早めに全部書ききっておきたいところです。 前回までのまとめ データの取得と転送方法についての検討は終わりました。 Amazon S3 の転送方法の検討と想定される時間の計測 → 完了 Amazon ElastiCache for Redis の転送方法の検討と想定される時間の計測 → 完了 Amazon DynamoDB の転送方法の検討と想定される時間の計測 → 完了 転送対象の絞り込み → 完了 重要データ、ログイン情報の3テーブルにフォーカスを絞る 認証情報は除外 データ完全性検証の方法検討 → 未着手 全体のスケジュール作成 → 未完成 転送作業の実施 → 未着手 今回のテーマ データ完全性検証の方法を検討します。 データ完全性検証について。ここでは、「移行元のデータ」と「移行先のデータ」が完全
AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） | DevelopersIO
はじめに こむろ@事業開発部です。 今回、5年以上稼働していた SpringBoot アプリケーションを エンドユーザーへの影響を最小にして、別のAWSアカウントへ完全に移行させました。その調査、検討、実施した際の想定外のトラブルやその対処について記録します。 私は主に全体のとりまとめを担当し、アプリケーション内で使うデータの関係性のチェックや移行作業全体のスケジュール作成、切り戻し計画の作成、メンバーへのタスク依頼、顧客調整等々を行いました。 概要 全体が無駄に長くなってしまったのでまとめると以下になります。 Elastic Beanstalk （1 Container Docker）で動作していた Spring Boot アプリケーションを、別の AWS アカウントの Fargate 環境へ引っ越し 作業時間は最大 5 時間 転送はもちろん、データの完全一致の保証も含めて 移行対象デー
DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた | DevelopersIO
コンバンハ、千葉（幸）です。 DynamoDB テーブルの中身を S3 バケットにエクスポートしたい、という場合があるかと思います。S3 にエクスポートしたものに対して、例えば Athena を利用して解析をかけたい、といったケースです。 AWS Glue や AWS Step Functions を利用して、定期的にエクスポートを行う仕組みについて以下のブログで紹介されているので、試してみました。 CloudFormation テンプレートや スクリプトが用意されているので、一通り流すだけでできます。 全体像としては以下のイメージです。 Data Pipeline, EMR, Glue の比較 Step Functions の Glue Workflow への置き換え Glue ETL スクリプトの 各種バージョン Glue ETL スクリプトのDynamoDB 読み取り並列度 目次 D
S3の利用料金を損してるかも？安心して利用するための設定をしましょう | DevelopersIO
はじめに こんばんは、菅野です。 皆さんは Amazon S3 の利用料金って厳密な計算なんてしてないですよね？ もちろん私もしてませんし、今後も恐らくしません。 でも、自分では知らないうちに無駄な利用料金が発生してるかもしれないとしたらどうでしょう？ 今回のブログではその「無駄」を自動で削減してもらうための設定についてご紹介します。 マルチパートアップロードを知ってますか？ S3 は最大5TBまでのオブジェクト（ファイル）を保管できるのですが、保存のため一度に送信できるサイズは5GBという制限があります。 ではどうやって5TBのオブジェクトを保存するのか？というと aws cli や SDK を使って小さく分割したファイルを送信し、全ての部品が揃ったら S3 で一つのファイルに復元されます。 この機能を「マルチパートアップロード」といいます。 マルチパートアップロードを利用するメリットと
[速報]アクセスポリシーを持ったS3のアクセスポイント「Amazon S3 Access Points」がGAになりました！ #reinvent | DevelopersIO
こんにちは、AWS事業本部の島川です。 ラスベガスで開催されているAWSの一大イベント AWS re:Invent 2019でAmazon S3 Access PointsのGAが発表されました！ Amazon S3 Access Points Easily Manage Shared Data Sets with Amazon S3 Access Points Amazon S3 Access Pointsを用いることでアクセスポリシーを記述したセキュアなアクセスポイントを発行することができます。VPC内からのアクセスのみ許可するようなアクセスポイントを発行できたりします。 ARNやURL形式で発行することができるので、ポリシーを適切に絞ったS3をアプリで簡単に利用することができるようになります。 既にS3のバケット設定にアクセスポイントタブが追加されています。 作ってみた アクセスポイ
![[速報]アクセスポリシーを持ったS3のアクセスポイント「Amazon S3 Access Points」がGAになりました！ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/63e9dfaf6e44e3fb0eef79f195558504110cfeb5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Fs3accesspoints_1.png)
AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 従来の AWS のやり方で、AWS Glue チームが DynamoDB テーブルからネイティブに読み取る AWS Glue クローラおよび AWS Glue ETL ジョブの機能をリリースしたときは、AWS ビッグデータブログで Goodreads はどのように Amazon DynamoDB テーブルを Amazon S3 にオフロードし、Amazon Athena を使用してクエリを実行するのかを公開してから一週間も経っていませんでした。おかげで私はかなりわくわくしていました。コードがより少ないということは、バグもより少ないことを意味します。元のアーキテクチャは少なくとも 18
Direct, Secure Rails Client-side File Uploads to AWS S3 Buckets
My RDS migration guide is now out! This is the eBook that I wish existed when I was first tasked with moving the Heroku database to AWS as a developer with limited dev ops experience. More details AWS S3 setup You will need Amazon AWS credentials to start working with file uploads. One common mistake is to use your primary user credentials instead of creating an IAM user with limited permissions.
Automatically Archive Items to S3 Using DynamoDB Time to Live (TTL) with AWS Lambda and Amazon Kinesis Firehose | Amazon Web Services
AWS Database Blog Automatically Archive Items to S3 Using DynamoDB Time to Live (TTL) with AWS Lambda and Amazon Kinesis Firehose February 9, 2024: Amazon Kinesis Data Firehose has been renamed to Amazon Data Firehose. Read the AWS What’s New post to learn more. Adam Wagner is a solutions architect at Amazon Web Services. Earlier this year, Amazon DynamoDB released Time to Live (TTL) functionality
Amazon S3 でリダイレクトを扱う | DevelopersIO
試してみた それでは早速設定して動作を試してみましょう。 静的ウェブホスティングを有効化する まずはリダイレクト機能は S3 の静的ウェブホスティングの機能となりますので、S3 バケットの静的ウェブホスティング機能を有効化します。 マネジメントコンソールにログインし、S3 の画面から静的ウェブホスティングを有効化するバケットを選択します。 Properties から Static website hosting を選択します。現在は無効状態ですので、ステータスに Disabled が表示されています。 「Use this bucket to host a website」を選択し、Index document を設定します。今回は index.html で設定します。URL がフォルダへのアクセス時にフォルダの中の index.html を返す、という設定です。「Save」ボタンをクリック
Amazon S3 静的ウェブホスティングの継続的デリバリ | DevelopersIO
こんにちは、藤本です。 先日、Amazon S3 の静的 Webホスティングにコンテンツをデプロイする方法が気になったので考えてみました。ちなみに静的ウェブホスティングだけじゃなく、S3 バケットと Git リポジトリの連携全般に利用できます。 概要 AWS 上で Webシステムを構成する際に、CloudFront のパスルーティングで、静的コンテンツは S3、動的コンテンツは EC2（前段に ELB）にアクセスすることで、低コスト、高可用性な構成を組むことができます。（静的コンテンツのみであればEC2レス） デプロイツールが発展してきて、CIツール、CIサービスを利用することでデプロイの自動化を簡単に実装することができるようになりました。AWS でも CodeDeploy を利用することで、EC2 へのデプロイが自動化できます。最近では Blue/Green デプロイ機能が追加され、既存
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO
神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バックアップストレージやデータ連携としてバックエンドにS3を利用できるのできるのと、直接S3にオブジェクトとし
![EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cef8c014e947c6d69a900c17c28496da9c46366/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAWS_Storage_Gateway.png)
[ Serverless ] Cognito、S3、Lambdaで認証機能付きのWebサイトを作ってみました - Qiita
[ Serverless ] Cognito、S3、Lambdaで認証機能付きのWebサイトを作ってみましたAWSS3lambdacognitoserverless 前置き 半年前くらいに、S3、Cognito、Lambdaを使って、問い合わせフォームが作ったという投稿を見て、初めてCognitoを触ってみました。その時の個人的な感想として、モバイルアプリを作らなくても、S3やLambdaなどと組み合わせてみれば、「ちょっとしたServerlessのWebサイトを作れるじゃん！」と感じました...が、当時、Cognitoには「User Pool」がまだ提供されていないこともあって、その構成には認証機能が実装されていませんでした。だれでもそのS3に公開されているWebページから投稿できてしまいます。便利といえば便利ですが、S3 put攻撃への心配や一部の人にのみ使ってもらいたい時にはちょっと
![[ Serverless ] Cognito、S3、Lambdaで認証機能付きのWebサイトを作ってみました - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ecf88970c5558f662af88ac20c16263c7df78f5a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJTIwU2VydmVybGVzcyUyMCU1RCUyMCUyMENvZ25pdG8lRTMlODAlODFTMyVFMyU4MCU4MUxhbWJkYSVFMyU4MSVBNyVFOCVBQSU4RCVFOCVBOCVCQyVFNiVBOSU5RiVFOCU4MyVCRCVFNCVCQiU5OCVFMyU4MSU4RCVFMyU4MSVBRVdlYiVFMyU4MiVCNSVFMyU4MiVBNCVFMyU4MyU4OCVFMyU4MiU5MiVFNCVCRCU5QyVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MSVCRSVFMyU4MSU5NyVFMyU4MSU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NDIyODgxYzVjMjU3ZTVjNTgwMmU5NWJhZWVkMDA2MTA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBqb2JiaW4mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWFlM2NlYjIwZjVkZTYzNGU2MmJlOWEyN2ZiZDQyMTAw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D004e7ba22ab14fe109d3cf95ac2427f1)
AWS Lambdaで作るクローラー／スクレイピング
This document discusses Amazon SageMaker, an AWS service that allows users to build, train, and deploy machine learning models. It provides an overview of SageMaker's key capabilities like the SageMaker SDK, hosted Jupyter notebooks, built-in algorithms, and integration with other AWS services. Examples of using SageMaker with frameworks like Chainer and TensorFlow are also presented.
RailsアプリをECSで本番運用するためのStep by Step
@joker1007 self.inspect @joker1007 パーフェクトRuby, パーフェクトRails 著者 Asakusa.rb, Yokohama.rb, Shibuya.rb データ分析基盤構築, Bigquery, インフラ全般 fluent-plugin-bigqueryメンテナ (株)Repro 宣伝タイム 現在のECSの活用状況 主要システムはほぼECSに移行完了 メインWeb, API, 各種非同期処理ワーカー クラスタは基本で15台 ASでその倍から3倍ぐらいまで増える 開発者用ステージング、QA環境等にも利用 何故ECS化したのか ミドルウェアのバージョン管理の容易さ Ruby, nginx, fluentd ... TaskDefinitionのリビジョンでロールバックできる 無停止デプロイメントの簡易化 AutoscaleのためのAMI管理不要 pul
オンプレミス環境からS3に高速ファイル転送：ExpeDat Gateway for Amazon S3を使ってみた | DevelopersIO
Expedat Gateway(EC2)環境構築 それでは早速環境を構築してみましょう。AWS Marketplaceのページから、"Continue"をクリックします。 ExpeDat Gateway for Amazon S3 700 Mbps Hourly on AWS Marketplace "Accept Terms"をクリックして、EC2を起動しましょう。Marketplaceの利用方法は、他のマシンイメージと同様です。 今回は"Manual Launch"から、手動で起動してみました。EC2起動操作は割愛しますが、SecurityGroupでは下記ポートの開放が必要です。また、インスタンスタイプはc4.xlargeを利用することにしました。 SSH(tcp/22) 初期設定を行うクライアント環境から HTTP(tcp/80) ExpeDatクライアント環境から(ソフトウェアダ
【AWS】S3まとめ - Qiita
どうも、iron千葉です。 S3について、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです S3は奥が深い。 S3とは？ インターネットストレージ（平たく言うとgoogleドライブ、evernoteのようなwebブラウザから利用できるストレージ） S3はAPIまたはAWS CLIにてプログラムから操作（ファイルのアップロード、ダウンロード、削除）ができる 容量制限なし データはいつでもダウンロード可能 柔軟なアクセス制御ができる（IAM、アクセスコントロール、バケットポリシー） S3の概念 バケット バッケットを作成し、その配下にデータを格納する バケットはS3の中で一番大きな バケットは複数作成できる バケットでアクセス制御が可能 バケット作成時は、配置するリージョンを指定する オブジェクト オブジェクトは、データ（アップロードファ
EC2インスタンスにS3をマウントして使用する（IAM Role ver) - Qiita
もっと早いやつが出たので新しいのを書きました。参考にどうぞ。[20160129追記] [AWSで]今流行のgoofysでS3を爆速マウント[EC2] s3fsを使用してEC2インスタンスにS3バケットをマウントします。 だけど、アクセスキー情報をインスタンスに置いておきたくない！ ・・・という状況を想定してIAM Roleを使用しました。 IAMユーザーは使ったことありましたがRoleは初でした。 ハマるかと思いましたがそんなでもなかったです。 マネジメントコンソールからIAMを選択しRoleを選択 新しいRoleを作ります。 名前は『use-s3』としました S3に読み書きしたいのでフルアクセスで。。。 作成できました！ EC2インスタンスを立ち上げる 通常と変わりませんがこの時、先ほど作成したRoleを指定することを忘れないように注意しましょう。 S3バケットの準備 『uses3』とい
RubyからS3を使ってみる - Qiita
これはJAWS-UG秋田支部 第３回勉強会の発表で使った物です。 自己紹介 コミュニティ Akita.m Akita Ruby Meeting デジコミュ秋田 言語 Ruby Objective-C プラットフーム iOS Ruby On Rails Android (2015?) ------ S3とは ------ Amazon S3 Amazon S3 はインターネット用のストレージサービスです。ウェブスケールの処理能力を開発者が簡単に利用できるよう設計されています。 Amazon S3 にはシンプルなインターフェイスが用意されており、いつでもウェブのどこからでも容量に関係なくデータを保存/取得できます。これによって、開発者は拡張可能で信頼性が高く、安全で、高速でありながら安価なインフラストラクチャを利用することが可能になります。このシステムは、Amazon が使用しているウェブサイ
AWS SDK for Ruby を使ってコンテンツを S3 に gzip 圧縮して保存する | DevelopersIO
S3 でコンテンツを gzip に対応させる方法は、オブジェクトの Metadata に対して、Content-Encoding を指定できるのでここに指定します。 Ruby の AWS SDK Core を使ってアップロードとダウンロードを試してみました。 アップロード アップロードするスクリプトは以下です。 require 'tempfile' require 'active_support/gzip' require 'aws-sdk-core' temp = Tempfile.new('sample') temp.print 'test ' * 100 temp.rewind gzip_data = ActiveSupport::Gzip.compress(temp.gets) temp.close s3 = Aws::S3::Client.new(region: 'ap-nort
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
