Fastest way to find out if a file exists in S3 (with boto3) - Peterbe.com
tl;dr; It's faster to list objects with prefix being the full key path, than to use HEAD to find out of a object is in an S3 bucket. Background I have a piece of code that opens up a user uploaded .zip file and extracts its content. Then it uploads each file into an AWS S3 bucket if the file size is different or if the file didn't exist at all before. It looks like this: for filename, filesize, fi
S3のIAM権限で使えるActionをまとめてみた - かべぎわブログ
S3のIAM権限で使えるActionをまとめてみました！ Action 説明 s3:AbortMultipartUpload マルチアップロードを中止する s3:CreateBucket バケットを作成する s3:DeleteBucket バケットを削除する s3:DeleteBucketPolicy バケットポリシーを削除する s3:DeleteBucketWebsite バケットのWebサイト設定を削除する s3:DeleteObject 現在のバージョンのオブジェクトを削除する s3:DeleteObjectVersion 特定のバージョンのオブジェクトを削除する s3:GetAccelerateConfiguration バケットのTransfer Acceleration設定を取得する s3:GetBucketAcl バケットのアクセス制御リスト(ACL)を取得する s3:Get
S3 CloudFront Route 53 でReactで作ったSPAを配信する - Qiita
この記事のゴール S3 CloudFront Route 53 を使ってReact製のSPAを独自ドメインで配信します。 前提条件 以下の条件を満たしている前提で話を進めていきます。 Route 53 で独自ドメインを購入している事 AWS Certificate Managerで独自ドメインの証明書を取得している事（証明書は us-east-1 に作成されている必要があります。） 利用するSPAはサーバーサイドレンダリングが考慮されていない仕様である事 1 に関しては別に Route 53 で購入したドメインでなくても大丈夫なのですが、全ての手続きがAWS上で完結すると楽なので、この記事ではそのようにしています。 2 に関しては現時点ではCloudFrontに設定出来る証明書が us-east-1 に配置されていないと設定出来ない為です。（そのうち他のリージョンの証明書も使えるようになる
S3のアクセスコントロールまとめ - Qiita
これに評価が許可になる条件Bを組み合わせると、 (NOT A) or B → デフォルト拒否 or 許可 → 許可 A or B → 明示的拒否 or 許可 → 拒否 となり、評価がデフォルト拒否になっているからといって、拒否設定した気になっていると、 他のポリシーとの組み合わせでうっかり許可になってしまう場合がある。 対象リソースの指定 バケットポリシーやIAMポリシーで、ある Action を許可/拒否する場合、対象 Resource を ARN で指定する。 バケットに対する Action は Resource としてバケットの ARN(arn:aws:s3:::bucket) を指定する。 オブジェクトに対する Action は Resource としてオブジェクトの ARN(arn:aws:s3:::bucket/*) を指定する。 AWS Management Console
WEB ページの読み込み時間を短くしよう - Qiita
まずは遅くなる原因を取り除こう この記事ではクライアントサイドに焦点を当てて紹介しますので、PHP や Ruby などサーバーサイドのプログラミングに関することは一切出てきませんのでご了承ください(o*｡_｡)oﾍﾟｺｯ サイトの読み込みが遅い場合、大抵はまずいやり方をしている一部分が足を引っ張っていることが多いと思います。 手当たり次第に最適化を試す前に「なぜ遅いのか？」問題の切り分けをしっかりやってから対応を考えましょう。 原因はどうやって特定するの？ PageSpeed Insights (developers.google.com) を使ってみる ブラウザ搭載のデバッガで調査するのが王道だけど、お手軽に調べるのであれば PageSpeed Insights がキャッチーでオススメです。 最低限のお作法について指摘してくれるので、指摘事項を直していけば割と解決します。（原因が曖昧なま
Goofysを使ってS3をマウント
Amazon S3のバケツをマウントしてファイル操作できるようにします。 S3をマウントする方法としてメジャーなs3fs-fuseというプロダクトがありますが、パフォーマンスが良くないです。色々調べたところ、よりパフォーマンスを重視した、Goofysというプロダクトがあったので、試してみました。 POSIXの規格を厳密に実装せず、パフォーマンスを重視した実装になっているそうです。 以下、セットアップ方法です。 環境 AMI: Amazon Linux AMI 2016.03.0 (HVM), SSD Volume Type - ami-f80e0596 Type: c4.large S3でバケツを作成しておきます。 バケツ名は my-goofys-bucket としました。 Goofysをセットアップ Goとfuseをインストール。 $ sudo yum install -y golang
aws-cliを使ってS3で静的コンテンツを公開する - Qiita
※こちらの記事は個人ブログに移行しました。 #前提 aws-cliが入っていること IAMのパーミッションがいい感じに設定されていること Credentialがconfigureもしくは環境変数に設定されてること ※ --profile使ってもいいです default region が ap-northeast-1 で設定してあること ※ 別にいいんだけど適宜いい感じに読み替えて下さい Mac想定してるのでWindowsの人はEC2使うとかいい感じに読み替えるとかしてください loggingの設定はこの手順には含まれてません #手順 バケットの作成 コンテンツの設置 Static Website Hostingを有効にする BucketPolicyを設定する ##バケットの作成
S3のContent-Dispositionのブラウザ対応について調査してみた - Innovator Japan Engineers’ Blog
こんにちは、@gorou_178です。 主にtenpu の開発を担当しています。 tenpuはAWSを利用して構築しており、特にS3をよく使うのでS3について書こうと思います。 ユーザにサービス側で指定したファイル名でファイルをダウンロードさせたい場合、 Content-Disposition ヘッダーでファイル名を指定します*1 しかし、Content-Dispositionのattachment指定はブラウザによって対応状況がバラバラで対応に苦しんだ方も多いかと思います。S3に対してファイル名指定ダウンロードさせるには、S3にContent-Dispositionを指定するのですが、エンコード方法によってはエラーになったりしたため、S3側の対応状況を調査してみました。 結論 最新のブラウザでは、 S3に対して Content-Dispositionのfilenameを RFC 5987
IAM RoleとBucket PolicyでAmazon S3へのアクセス制御を行う - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 AWSの各リソースへのアクセスは、デフォルトでは認証なしのアクセスができないため、たとえば1つのEC2を起動し、1つのS3バケットを作成し、EC2から中身を見ようとしてもcredentialが必要というエラーになります。 $ aws s3 ls bucket-policy-control-test Unable to locate credentials. You can configure credentials by running "aws configure". 文言のとおり `aws configure` コマンドでS3の中身を参照可能なcredentialをインスタンス内に定義すればアクセス可能になりますが、たくさんのEC2を起動した後に `aws configure` コマンドを叩いて回るのは
チュートリアル: Amazon S3 での静的ウェブサイトの設定 - Amazon Simple Storage Service
Amazon S3 では、Amazon S3 のすべてのバケットに対する基本レベルの暗号化として、Amazon S3 マネージドキーによるサーバー側の暗号化 (SSE-S3) が適用されるようになりました。2023 年 1 月 5 日以降、Amazon S3 にアップロードされるすべての新しいオブジェクトは、追加費用なしで、パフォーマンスに影響を与えずに自動的に暗号化されます。S3 バケットのデフォルト暗号化設定と新しいオブジェクトのアップロードのための自動暗号化ステータスは、AWS CloudTrail ログ、S3 インベントリ、S3 ストレージレンズ、Amazon S3 コンソール、および AWS Command Line Interface と AWS SDK の追加の Amazon S3 API レスポンスヘッダーとして利用できるようになりました。詳細については、「デフォルトの暗号
AWS Lambdaを使ってS3の署名付きURLを自動的に発行する - Qiita
はじめに 普段、メールに添付できないような容量の大きいファイルをやりとりするために、S3の署名付きURLを使っています。その他の用途でも、期間限定で特定の人にだけファイルを渡したいときに使うと非常に便利です。 署名付きURLを使用したオブジェクトのアップロード ただし、署名付きURLの作成にはSDKを利用して自分でコーディングする必要があります。自分の場合、Pythonのコードを書いてました。さらに、アップロードの後にファイル名を指定してコードを実行する必要があるので、ちょっと面倒です。 というわけで、今回はlambdaを利用して特定のバケットに入ったファイルに対し、自動的に署名付きURLを発行し、SNSによりメールで通知する（自分に）を作ってみたいと思います。 処理の流れ S3にファイルをアップロード LambdaでEventを受信 Lambda FunctionでS3の署名付きURL取
S3 + Lambda + Cognitoを使って、簡単お問い合わせシステム構築 - Qiita
S3とLambdaとCognitoを使って、簡単でセキュアなお問い合わせフォームシステムを作ってみます。 記事執筆当時、Cognitoがバージニア/アイルランドのみ利用可能だったため、今回はS3/Lambda/Congito全部バージニア(us-east-1)に揃えています（S3とLambdaはリージョン揃える必要があります）。2015年9月以降、東京リージョンでもCognitoは利用可能となっています。 全体像 S3上にホスティングしているお問い合わせフォームから投稿すると、S3上にJSON形式で内容がuploadされます。ファイルがuploadされると、Lambdaがイベントフックして内容をGmailに送信する構造です。 お問い合わせ数の少ないサイトでは、これで十分でしょう。 SQLインジェクションとは無縁ですし、負荷も気にしなくて良いので、選択肢としてはありかなと思います。 0 準備
ブラウザからS3に直接アップロード（Security Token Service利用） - Qiita
ブラウザのJavaScriptから直接S3にアップロードする方法。 サーバサイドに実サーバがあれば、サーバにアップ=>サーバからS3にアップするのが何も考えなくていいので楽だと思うのですが、AWS API Gateway / lambda等を使うシステムだと、そういう中継ができないので、大きなファイルなどをアップロードする場合はブラウザから直接S3にアップロードする形が必須になります。 そんな時に必要な手順を調べました。 軽く調べてみると、 JavaScript内にAWSのAccessKey/SecretKeyを埋め込んで、aws-sdk経由でアップロード サーバサイドでS3の編集権限のあるユーザでS3の署名付きURLを取得し、ブラウザサイドに送る サーバサイドでS3の編集権限のある時限ロールをSecurity Token Service（以下STS)で取得、それによりS3の署名付きURL
S3 sync で s3からファイルを同期させる時の注意点 | DevelopersIO
はじめに s3 sync で作業をしていた際に、同期されるはずのファイルが同期されなかったので調査してみました。 事象 s3にアップロードしたファイルをローカルに同期させる際に同期されないファイルがあった。 s3にアップロードしたdocument.txtをローカルに同期する s3にアップロードしたファイル $ aws s3 ls s3://test.takahashi.yusuke/ 2015-06-26 18:56:05 4847 document.txt 現在のローカルのファイル $ ll ~/docs/ total 16 drwxr-xr-x 3 takahashiyusuke staff 102 6 25 13:17 . drwxr-xr-x+ 60 takahashiyusuke staff 2040 6 25 13:16 .. -rw-r--r-- 1 takahashiyus
Amazon S3 Stream Wrapper — AWS SDK for PHP 2.8.30 documentation
Feedback Did you find this page useful? Do you have a suggestion? Give us feedback or send us a pull request on GitHub. Introduction¶ The Amazon S3 stream wrapper allows you to store and retrieve data from Amazon S3 using built-in PHP functions like file_get_contents, fopen, copy, rename, unlink, mkdir, rmdir, etc. You need to register the Amazon S3 stream wrapper in order to use it: This allows y
Amazon S3 stream wrapper で S3 を操作する
AWS SDK for PHP2 に実装されている Amazon S3 stream wrapper で S3 を操作してみました。 Amazon S3 stream wrapper を使うと「s3://bucket/foo/bar.txt」といったパスで mkdir() や file_get_contents() などの標準関数から S3 を操作することができます。 Amazon S3 stream wrapper の使い方 Amazon S3 stream wrapper は AWS SDK for PHP2 に含まれているので、SDK をインストールしておきます。インストール方法などは下記をどうぞ。 AWS SDK for PHP 2 をインストールして AutoScaling の設定を行う Aws\S3\S3Client の registerStreamWrapper メソッドを実
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[S3]今流行のgoofysでS3を爆速マウント - Qiita![[S3]今流行のgoofysでS3を爆速マウント - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e84846dfb3c4d2f3748350aeadde3818b0519c9f/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUzMlNUQlRTQlQkIlOEElRTYlQjUlODElRTglQTElOEMlRTMlODElQUVnb29meXMlRTMlODElQTdTMyVFMyU4MiU5MiVFNyU4OCU4NiVFOSU4MCU5RiVFMyU4MyU5RSVFMyU4MiVBNiVFMyU4MyVCMyVFMyU4MyU4OCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NWNlYzMyZWFiMTc5ZTA4YTYwOGJjMjM2N2I3MjYzNzA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwWXVraV9CQjMmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWYyNDE2YTAzZGIyNDQyNmQwOTBkZDZiYWY0ZDIxNDc3%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3De7d01d83ef59a9c73ebd44d9fb8bed54)
http://www.selfree.co.jp/2015/06/18/%E3%82%B5%E3%83%BC%E3%83%90%E3%83%BC%E3%83%AC%E3%82%B9%E3%81%A7javascript-%E3%81%A0%E3%81%91%E3%81%A7%E7%94%BB%E5%83%8F%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E3%82%A2%E3%83%83%E3%83%97%E3%83%AD%E3%83%BC%E3%83%89
S3+CloudFrontだけでリダイレクト設定を作る - Qiita
AWS CLI で S3 にファイルをアップロード - Qiita
