アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。 アンドパッドでは最近、AWSのS3バケット上のファイルをスキャンするために、アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入しました。その結果、私たちの要件はほぼ全て満たされたうえに、従来比で大幅なコスト削減を実現できました。 Antivirus for Amazon S3について日本語で書かれた記事はまだ少ないですが、S3に対するウイルススキャンが求められるケースでは、導入を検討する価値があるソフトです。 そこで、今回はこのAntivirus for Amazon S3の概要、私たちが本番環境に導入してみてわかったメリットやデメリット、そしてこのソフトが適した状況をご紹介します。 背景 S3に対するウイルススキャンが必要な理由 Antivirus for Amazon S3の導入前に利用していたソフト Antiv
署名付きURLを利用したファイルアップロードWeb API設計の勘所 | フューチャー技術ブログ
はじめに現代のWebアプリケーションにおいて、ユーザが写真や動画などのファイルをアップロードする機能は、しばしば求められます。 本記事では、ファイルアップロードを実現するための一手段として、「署名付きURL」を利用した方式を取り上げ、その設計について詳しく解説します。 今回は、Amazon Web Services（AWS）を利用する前提のもと、このアプローチを探求していきます。 前半部分は署名付きURLをそもそもよく知らない方向けの導入部となっていますので、要点だけ抑えたい方は設計上のポイントから読まれることをお勧めします。 ファイルアップロードの実現方式パターン署名付きURLの話をする前に、ファイルアップロード機能をWeb APIとして実現する方式について、いくつか代表的なものを紹介します。 Pattern 1. multipart/form-datamultipart/form-da
ACL無効化を解除したS3バケットをCloudFormationで作成してみた (CloudFrontアクセスログ出力用) | DevelopersIO
ACL無効化を解除したS3バケットをCloudFormationで作成してみた (CloudFrontアクセスログ出力用) CloudFrontの標準アクセスログ保存用として利用する S3バケット、デフォルトのACL無効化を解除して CloudFormation で設定してみました。 CloudFrontの標準アクセスログ保存先としてS3を利用する場合、2023年6月現在 S3バケットのACL設定が必要です。 2023年4月のS3の仕様変更により、新規作成したS3バケットは デフォルトで ACLの無効化設定が反映されるようになった事で、 CloudFormationを利用した S3バケットのACL「LogDeliveryWrite」の反映時、エラーが発生するようになりました。 Bucket cannot have ACLs set with ObjectOwnerships BucketO
CloudFrontのアクセスログ保存用S3バケットにはACL有効化が必要なので注意しよう | DevelopersIO
はじめに 清水です。先日、Amazon S3のACL無効化が推奨されたことで、S3のサーバアクセスログ記録保存用のS3バケットの権限設定においてもACLではなくバケットポリシーを使用するようになっていた、というブログを書きました。 ACL無効化が推奨されたことでS3のサーバアクセスログ記録のためのアクセス許可はどうなったのか!?確認してみた | DevelopersIO re:Invent 2021期間中に発表されたS3のACL無効化機能に伴う変更です。（【アップデート】S3でACLを無効化できるようになりました #reinvent | DevelopersIO）上記エントリではS3のサーバアクセスログ記録保存用となるS3バケットについて確認しましたが、CloudFrontのアクセスログ記録用となるS3バケットについて、ACL無効化の影響（ACLを無効にしたS3バケットをCloudFron
CloudFormationを使ってCloudFront+S3の静的サイトを構築 - Qiita
目標 静的サイトをS3に用意し、CloudFrontから公開する S3はCloudFrontからのアクセスのみ許可する アクセスログをS3バケットに格納する 独自ドメインは使用しない CloudFormationで作成する 静的ウェブサイトの設定について そもそも静的ウェブサイトの設定方法は2020年10月6日時点では、以下の設定があるようです。 アクセスがオリジンアクセスアイデンティティ(OAI) で制限されたオリジンとして、REST API エンドポイントを使用する 匿名 (パブリック) アクセスを許可して、ウェブサイトのエンドポイントをオリジンとして使用する アクセスが Referer ヘッダーで制限されたオリジンとして、ウェブサイトのエンドポイントを使用する AWS CloudFormation を使用して REST API エンドポイントをオリジンとしてデプロイし、OAI と C
S3 Intelligent-Tieringに自動的に移行されるバケットを作成する [AWS CloudFormation テンプレート付き]
S3 Intelligent-Tieringに自動的に移行されるバケットのテンプレート 今回の設定では、Intelligent-Tieringに移行されるまでの期間を0日としています。これはアップロードされた瞬間ではなく、UTC 0時（JST 9時）に移行されることになります。 S3 ライフサイクル設定の例 – Amazon Simple Storage Service 通常版 バケットを作成するテンプレートは下記の通りです。S3 Intelligent-Tierへのライフサイクルルールのほかに、SSE-S3暗号化やパブリックアクセスの無効化などの設定を入れています。 AWSTemplateFormatVersion: "2010-09-09" Description: "S3 Intelligent Tier Template" Parameters: BucketName001: Ty
![S3 Intelligent-Tieringに自動的に移行されるバケットを作成する [AWS CloudFormation テンプレート付き]](https://cdn-ak-scissors.b.st-hatena.com/image/square/2b017e37ca57990b2e4b10996e0297920d5cbba1/height=288;version=1;width=512/https%3A%2F%2Fblog.usize-tech.com%2Fcontents%2Fuploads%2F2022%2F04%2Feyecatch-s3.png)
SDK for JavaScript (v3) を使用した Amazon S3 の例 - AWS SDK for JavaScript
AWS SDK for JavaScript V3 API リファレンスガイドでは、 AWS SDK for JavaScript バージョン3 (V3) のすべての API オペレーションについて詳しく説明します。 翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 SDK for JavaScript (v3) を使用した Amazon S3 の例 次のコード例は、Amazon S3 で AWS SDK for JavaScript (v3) を使用してアクションを実行し、一般的なシナリオを実装する方法を示しています。 Amazon S3 アクションはより大きなプログラムからのコードの抜粋であり、コンテキスト内で実行する必要があります。アクションは個々のサービス機能を呼び出す方法を示していますが、関連するシナリオ
Amazon S3 Transfer Manager のバージョン 1 からバージョン 2 への変更 - AWS SDK for Java 2.x
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon S3 Transfer Manager のバージョン 1 からバージョン 2 への変更 このトピックでは、Amazon S3 Transfer Manager のバージョン 1 (v1) からバージョン 2 (v2) への変更点について詳しく説明します。 高レベル変更 <dependencyManagement> <dependencies> <dependency> <groupId>com.amazonaws</groupId> <artifactId>aws-java-sdk-bom</artifactId> <version>1.12.5871</version> <type>pom</type> <scope>import</scope> <
S3の機能だけで、数GBある複数ファイルを1つのzipファイルにまとめる方法 - Qiita
概要 目的：数GB分の複数ファイルをS3から取得、Lambdaで1つのzipファイルにまとめる 環境：AWS Lambda, S3, Java8（どの言語でもできますが、サンプルの都合でJavaを使います） 実現方法：無圧縮zip, S3マルチパートアップロード機能 構成の概要 実現すること こんな要件があったとします。 数GB分のファイルがS3に配置されていて、それを1つのzipファイルにまとめたい。 既存機能の都合でVPCやECSは使えないため、LambdaとS3だけで実現したい。 一見すると単純ですが、（普通は）実現できない構成です。 参考：要件の構成をSAMのYAMLファイルにしたもの（クリックで開きます） AWSTemplateFormatVersion: "2010-09-09" Transform: AWS::Serverless-2016-10-31 Description
Mountpoint for Amazon S3 – 一般公開されており、本番環境のワークロードにも対応可能 | Amazon Web Services
Amazon Web Services ブログ Mountpoint for Amazon S3 – 一般公開されており、本番環境のワークロードにも対応可能 Mountpoint for Amazon S3 は、ファイル対応の Linux アプリケーションが Amazon Simple Storage Service (Amazon S3) バケットに簡単に直接接続できるようにするオープンソースのファイルクライアントです。2023年初めにアルファリリースとして発表されましたが、現在一般公開されており、データレイク、機械学習トレーニング、画像レンダリング、自動運転車シミュレーション、ETL など、読み取り負荷の多い大規模なアプリケーションで本番環境で使用できるようになりました。シーケンシャル読み取りとランダム読み取り、シーケンシャル (追加のみ) 書き込みを実行するファイルベースのワークロー
AWS S3 のファイルを社内からのみ URL でダウンロード可能にする（パブリックアクセスブロック有効） - APC 技術ブログ
はじめに こんにちは。クラウド事業部の野本です。 業務でモックサーバを作る際に、静的なファイルをふつうに URL でアクセスしてダウンロードできるようにする必要がありました。この用途に AWS の S3 を使いたいものの、バケットの設定を間違えると全世界に公開されてしまいそうで、公式ドキュメントを調べながら恐る恐る設定しました。 調べた結果、バケットポリシーで適切なアクセス制限を掛けるならパブリックアクセスブロック機能は有効のままでもいいことがわかりました。その設定方法や考え方について纏めます。 設定方法 S3 のオブジェクトを URL 直アクセスでダウンロードできるようにするには、 REST API GetObject を全員に許可するようにバケットポリシーを設定します。 リクエスト元を制限する際にポリシーが「非パブリック」と判定されるよう設定すれば、パブリックアクセスブロック機能はオン
チュートリアル: Amazon S3 トリガーを使用してサムネイル画像を作成する - AWS Lambda
このチュートリアルでは、Amazon Simple Storage Service (Amazon S3) バケットに追加された画像のサイズを変更する Lambda 関数を作成および構成します。バケットに画像ファイルを追加すると、Amazon S3 は Lambda 関数を呼び出します。その後、この関数が画像のサムネイルバージョンを作成し、別の Amazon S3 バケットに出力します。 ソース元と保存先の Amazon S3 バケットを作成し、サンプル画像をアップロードします。 画像のサイズを変更し、Amazon S3 バケットにサムネイルを出力する Lambda 関数 を作成します。 オブジェクトがソースバケットにアップロードされたときに、関数を呼び出す Lambda トリガーを設定します。 最初にダミーイベントを使用して関数をテストし、その後画像をソースバケットにアップロードしてテス
CloudFront＋S3 OACの設定をCloudFormationでやってみた | DevelopersIO
静的コンテンツを配信するためにCloudFrontとS3を利用した際、OACを利用したのでブログに残しておきます。 OACとは CloudFrontのオリジンにS3を指定する際、S3へのアクセスをCloudFrontからだけに制限するための設定です。 S3へのアクセス制限はOAIという機能でも可能ですがOACでは以下のものに対応しています。 Amazon S3 オリジンへのアクセスの制限 AWS KMS による Amazon S3 サーバー側の暗号化 (SSE-KMS) Amazon S3 に対する動的なリクエスト (POST、PUT など) 詳しくは以下のブログとドキュメントをご確認ください。 作成したCloudFormationテンプレート 以下のテンプレートをデプロイするとCloudFrontとS3が作成されます。 今回はS3とCloudFrontでテンプレートを分割しました。 デプ
AWS CRT ベースの HTTP クライアントを設定する - AWS SDK for Java 2.x
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS CRT ベースの HTTP クライアントを設定する AWS CRT ベースの HTTP クライアントには、同期 AwsCrtHttpClient と非同期 AwsCrtAsyncHttpClient が含まれます。AWS CRT ベースの HTTP クライアントは、HTTP クライアントに次のような利点をもたらします。 SDK の AWS CRT ベースのコンポーネント このトピックで説明している AWS CRT ベースの HTTP クライアントと AWS CRT ベースの S3 クライアントは、SDK の異なるコンポーネントです。 同期および非同期のAWS CRT ベースの HTTP クライアントは、SDK HTTP インターフェイスを実装したもので、一般
AWS、LinuxからAmazon S3をファイルシステムとしてマウントし利用できる「Mountpoint for Amazon S3」正式公開
Amazon Web Services（AWS）は、オブジェクトストレージサービスとして提供しているAmazon S3のバケットをLinuxからマウントし、ローカルのファイルシステムと同様にさまざまな操作を可能にする「Mountpoint for Amazon S3」を正式に公開しました。 基本的にAmazon S3の操作はS3専用のAPIを呼び出すことによって行いますが、今回公開されたMountpoint for Amazon S3はそうした操作を不要にし、いくつかの制限はあるものの、Amazon S3のバケットをまるでローカルのファイルシステムのように扱えるようになります。 これにより、例えばAmazon EC2のインスタンスからAmazon S3のバケットへの大規模なデータの保存や参照などが容易に可能になります。 下記はAWSが公開した動画から、実際にMountpoint for A
AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 | Amazon Web Services
Amazon Web Services ブログ AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 はじめに 昨今のテクノロジーの進化は、これまで以上に、私たちがどのように働き、どのように生活するかを再定義しています。この進化の中心には、クラウドコンピューティングが存在しており、AWS はこれまで、クラウドコンピューティングのパイオニアとして、様々な機能を提供し続け、業界をリードしてきました。その機能群を支えるエコシステムの一部であるサーバーレスアーキテクチャは、スケーラブルで信頼性が高く、メンテナンスの作業負担が低いアプリケーションの開発を可能にし、ユーザーのビジネスやプロジェクトが円滑に進行するようサポートします。 AWS のサーバーレスの代表的なサービ
[アップデート] Amazon S3 Intelligent-Tiering がより使いやすくなりました（最小ストレージ期間 / 小さなオブジェクトの監視・オートメーションコストの撤廃） | DevelopersIO
コンバンハ、千葉（幸）です。 2021 年 9 月 2 日にあった AWS Storage Day 2021 では多くのストレージ関連の AWS サービスアップデートがありました。 その中の一つとして Amazon S3 Intelligent-Tiering に関するアップデートがありましたので、今回はそれを取り上げていきます。 簡単に言うと以下の観点でアップデートされています。 オブジェクトの最小ストレージ期間が 30 日から 0 日に これまでは格納から 30 日未満で削除しても 30 日分のストレージ料金がかかっていた 128 KB 未満のオブジェクトの監視・オートメーションの料金がタダに これまではすべてのサイズのオブジェクトが課金対象だった より幅広いワークロードで、 Amazon S3 Intelligent-Tiering によるコスト最適化が期待できるようになりました！
![[アップデート] Amazon S3 Intelligent-Tiering がより使いやすくなりました（最小ストレージ期間 / 小さなオブジェクトの監視・オートメーションコストの撤廃） | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/55e5ee85a70b0b6893eeca79750f0d06a94b8595/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-s3.png)
Spring BootでAWS S3に接続 | DevelopersIO
はじめに Spring Bootでは日常的に触れているAWSに接続できる方法があるということで調べてみました。 まずはS3です。 環境 Mac OSX 10.10.5 Yosemite Java 8 Spring Boot 1.3.5 機能 ・S3からローカルにファイルをダウンロード ・S3へローカルからファイルをアップロード ・S3内のオブジェクトを検索 コード 設定ファイル gradle buildscript { ext { springBootVersion = '1.3.5.RELEASE' } repositories { mavenCentral() } dependencies { classpath("org.springframework.boot:spring-boot-gradle-plugin:${springBootVersion}") } } apply pl
WinSCPでAmazon S3に接続してみた | DevelopersIO
みなさんこんにちは、杉金です。 IAMのアクセスキーを使ってWinSCPからS3に接続できることを知らなかったので試してみます。また、S3サーバーアクセスログを有効にして、アクセスログを保管するように設定します。過去にもWinSCPでS3への接続を紹介したブログもございますので、そちらを見ていただいても良いかと思います。 設定の流れ 設定としては大きく２つに分けていまして、接続先となるAWS側の設定と、接続元となるクライアント側の設定があります。 AWS側の設定 1-1. S3バケット作成 1-2. S3サーバーアクセスログ設定 1-3. IAMユーザ作成とアクセスキー発行 クライアント側の設定 2-1. WinSCPインストール 2-2. 接続確認 1.AWS側の設定 1-1.S3バケット作成 WinSCPの接続先となるS3バケットを作成します。AWSマネジメントコンソールからS3のサー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【AWS S3】バケット内オブジェクトが無い時は403？404？