古い TLS を使用しているお客様に S3 バケットへのアクセスを許可する
お客様が TLS バージョン 1.2 以上を使用していないため、私の Amazon Simple Storage Service (Amazon S3) バケットに保存されているコンテンツにアクセスできません。お客様が TLS 1.0 または 1.1 を使用して Amazon S3 バケット内のコンテンツにアクセスできるようにしたいと考えています。 簡単な説明 AWS では、すべての AWS API エンドポイントで TLS 1.2 以降の使用を必須としています。引き続き AWS サービスに接続するには、TLS 1.0 または 1.1 を使用するすべてのソフトウェアを更新してください。 解決策 Amazon CloudFront では、お客様の CloudFront ディストリビューションと Amazon S3 の間で使用されている TLS プロトコルから顧客を抽象化することで、古い TL
[Storage Gateway] EC2からS3バケットをNFSマウントしてみた〜2018年冬〜 ｜ DevelopersIO
こんにちは、岩城です。 元道民なので寒さに耐性があるなどと知り合いの間では強がってはいますが、しっかりと寒いです。そして、しっかりと風邪をひきました。 さて、業務でEC2からS3バケットをNFSマウントする方法を調べる機会がありました。 実際に設定していく中で、いろいろと躓いたところがありましたので、備忘録的な意味でアウトプットします。今やEFSが主流かも知れませんが、気にせずやります！ はじめに Storage Gatewayとは オンプレミスのサーバなどからAWS上のクラウドストレージに接続を可能とするサービスです。 実態は、AWSにより用意された仮想アプライアンスになります。VMware ESXi HypervisorやMicrosoft Hyper-V Hypervisor向けのVMや、EC2ホスト向けのAMIが用意されています。オンプレミスからの接続に注目しがちですが、本ブログの
![[Storage Gateway] EC2からS3バケットをNFSマウントしてみた〜2018年冬〜 ｜ DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d76847d127f40a16d5f1d0da62b4e9440447927c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_aws-storage-gateway_1200x630.jpeg)
macOS: TimeMachine バックアップを AWS 上に保全する - Qiita
将来、家に隕石が落ちてきた時の最後の砦として、自分の PC にある日々の運用データ一式をクラウド上に保全して枕を高くして寝たい。また、超強力な太陽嵐が地球上に降り注いでも、データの整合性は可能な限り担保したい。 そんな夢を見たのでどこまで実現可能かを考えてみた。思考実験以上、運用実験未満。 現況 今のところ（高速回線環境がないので）最終的なバックアップ完了までこぎ着けていない。よって復元も試せていない。試行レポートをお待ちしています。 ゴール AWS 上に macOS の TimeMachine 機能を使ってデータを保管したい。また、手元の Mac のディスクが壊れた時のリカバリー元としても使えるようにしたい。可能な限り高い信頼性を確保し、できるだけセキュアに。 要件 ネットワーク 通信経路をセキュアに保つこと macOS の標準機能だけで VPN 接続を確立できること データ データは自
値段の下がってきたAWS S3 GlacierとBackBlaze B2をいろいろ比較
※BackBlaze B2、AWSはファイルの出し入れなどにも少し料金がかかります。 S3 Glacier Deep Archiveの価格が特に目立ちますね。わずか$0.002という、従来最安だったBackBlazeの半額以下というとんでもない安さです。 完結した仕事のメディアなど、「完結したからほぼいらないと思うけど、5年後に破棄したあと、なんか言われたら困る」みたいなデータを置いておくのにいいですね。 100GBのデータを10年預けておいても、たったの24ドルです。ほぼ無視できます。（100GB x 0.002ドル x 12か月 x 10年） ほかには、たとえばNASがあって、そのなかでバックアップもレプリケーションもしてあるけれど、万が一NASとバックアップが一撃で破壊されるような事態のためにとっておきたい、という使い方もアリでしょう。 最近は自然災害も多いので、念には念を入れる必要
[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO
はじめに 清水です。ELBやCloudFront、S3などのアクセスログはS3に保存されます。 アクセスログは外部ツールと連携させて監視や可視化するということもあると思いますが、直接ログファイルを確認することも多いのではないでしょうか。 ログファイルを直接確認するときはS3から作業用マシンにファイルをコピーしますが、保存先のS3バケット内のPrefixで指定したディレクトリにファイルが大量にあることが多いことから、私はAWS CLIを使ってコピーすることが多いです。 AWS CLIの場合、UNIXとまったく同じ書式でワイルドカードを使用することはできませんが、--recursiveオプションと--excludeオプション、--incluceオプションを組み合わせることで同様のことができます。 今回はアクセスログファイルから特定の日付のファイルだけを作業用マシン（AWS CLIを実行している
![[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0eb469bfaff8e33e9f250bdad40fd2ee2aba555c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F09%2Faws-cli.png)
S3 sync で s3からファイルを同期させる時の注意点 | DevelopersIO
はじめに s3 sync で作業をしていた際に、同期されるはずのファイルが同期されなかったので調査してみました。 事象 s3にアップロードしたファイルをローカルに同期させる際に同期されないファイルがあった。 s3にアップロードしたdocument.txtをローカルに同期する s3にアップロードしたファイル $ aws s3 ls s3://test.takahashi.yusuke/ 2015-06-26 18:56:05 4847 document.txt 現在のローカルのファイル $ ll ~/docs/ total 16 drwxr-xr-x 3 takahashiyusuke staff 102 6 25 13:17 . drwxr-xr-x+ 60 takahashiyusuke staff 2040 6 25 13:16 .. -rw-r--r-- 1 takahashiyus
Lambdaを使わずにS3にPutされたCSVファイルをRDSに自動一括登録する | DevelopersIO
はじめに サーバーレス開発部＠大阪の岩田です。 現在従事しているプロジェクトで、S3へのCSVファイルのPutをトリガーにCSVファイルの中身をRDSに一括登録したいという要件がありました。 S3へのPutをトリガーにLambdaを起動して〜というアーキテクチャはサーバーレス開発の定番ですがRDSへの一括登録となると話が変わってきます。 Lambdaの実行時間や、RDSへの同時接続数といった制限を意識しなくてはいけません。 実現方法としてCloudWatch Eventsのルールを使用してAWS Batchを起動する構成について調査したので、手順をご紹介します。 構成概要 今回ご紹介する構成は、下記のような構成です。 下記のエントリでも紹介されているように、2018年3月のアップデートにより、CloudWatch EventsをトリガーにAWS Batchのジョブが起動できるようになってい
AWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む） | DevelopersIO
独自ドメインSSLだとCloudFront使えないから横綱無理だよねー、という話がありました。うん、確かにそうでした、執筆時点では…！ 本日2013/06/12、CloudFrontの独自ドメインSSL対応が発表（英語・日本語）されましたので、みなさん揃って横綱になればいいと思います。 よく訓練されたアップル信者、都元です。AWSを利用して構築した環境から、クライアント（モバイルやブラウザ等）に対してHTTPを使って静的なコンテンツを配信したいケースって、多いですよね。多いというか、むしろどんなシステムにも多かれ少なかれ、静的なコンテンツ配信があると思います。 スケーラビリティ・柔軟性・可用性・パフォーマンス・コスト 静的なコンテンツというのは、コンテンツをリクエストに応じて生成したりせず、完成品としてのファイルが手元にある状態です。例えば、多くのWebシステムにおいて、ほとんどの画像やJ
AWS | S3のアクセス制限(バケットポリシー, IAMポリシー, ACL) - わくわくBank
S3のアクセス制御方法は色々とあります。「バケットポリシー」「IAMポリシー」「ACL」「パブリックアクセス設定」とあり、複雑なので整理します。 アクセス制御のユースケース アクセス制御のユースケースは多岐に渡ります。 何に対して バケット オブジェクト 誰に 特定AWSアカウント 特定IAMポリシー 特定サービス(CloudFrontなど) 特定IP 全ユーザ etc 何のアクションを オブジェクト一覧取得 オブジェクト作成 etc どうする 明示的拒否 明示的許可 デフォルト拒否 S3はこれらのユースーケースに対応できます。便利な反面、多少混乱します。 各制御方法を確認します。 制御方法｜バケットポリシー 概要 バケット単位でアクセス制御したいときに向いています。
S3のアクセスコントロールまとめ - Qiita
これに評価が許可になる条件Bを組み合わせると、 (NOT A) or B → デフォルト拒否 or 許可 → 許可 A or B → 明示的拒否 or 許可 → 拒否 となり、評価がデフォルト拒否になっているからといって、拒否設定した気になっていると、 他のポリシーとの組み合わせでうっかり許可になってしまう場合がある。 対象リソースの指定 バケットポリシーやIAMポリシーで、ある Action を許可/拒否する場合、対象 Resource を ARN で指定する。 バケットに対する Action は Resource としてバケットの ARN(arn:aws:s3:::bucket) を指定する。 オブジェクトに対する Action は Resource としてオブジェクトの ARN(arn:aws:s3:::bucket/*) を指定する。 AWS Management Console
AWS CLIの認証設定をする際の注意 - Qiita
AWS Access Key ID [None]: xxxxxxxxxx AWS Secret Access Key [None]: xxxxxxxxxx Default region name [None]: ap-northeast-1 Default output format [None]: json AWS Access Key ID [None] と AWS Secret Access Key [None] には発行したアクセスキーを， Default region name [None] にはデフォルトリージョンを， Default output format [None] にはコマンド出力結果の表示形式（json,table,textのうちどれか）を，それぞれ指定します． これで設定は終了です． 何がよくないか 上のコマンドによって~/.aws ディレクトリに作成された，認
s3 へPOSTでファイルをアップロードする（署名バージョン2） - Qiita
ちょっとしたデバッグのためs3へファイルをアップロードするスクリプトを書いた 使用するには 環境変数 AWS_SECRET_ACCESS_KEY にシークレットアクセスキー 環境変数 AWS_ACCESS_KEY_ID にアクセスキーID s3_bucket に対象のバケット名 target_file にアップロード対象のファイル名 をそれぞれ設定する必要あり 実行方法は ruby s3upload_signature_v2.rb のように実行。 コード # # POST with signature v2 # require "base64" require "openssl" require "digest/sha1" aws_secret_key = ENV["AWS_SECRET_ACCESS_KEY"] aws_access_key_id = ENV["AWS_ACCESS_KE
s3 へPOSTでファイルをアップロードする（署名バージョン4） - Qiita
使用するには 環境変数 AWS_SECRET_ACCESS_KEY にシークレットアクセスキー 環境変数 AWS_ACCESS_KEY_ID にアクセスキーID s3_bucket に対象のバケット名 region にバケットのリージョン target_file にアップロード対象のファイル名 をそれぞれ設定する必要あり 実行方法は ruby s3upload_signature_v4.rb のように実行。 コード # # POST with signature v4 # require "base64" require "openssl" require "digest/sha1" require "time" aws_access_key_id = ENV["AWS_ACCESS_KEY_ID"] aws_secret_key = ENV["AWS_SECRET_ACCESS_KEY"
オンプレ環境からS3へのファイル転送方式についてこれまで試したパターンまとめ | DevelopersIO
西澤です。AWS上にシステムを移行する上で、毎度のようにご相談を受けるのが、S3へのファイル転送をどうするか？という問題です。ビッグデータの元となる大量のファイル、RDBのダンプファイル、その他のバックアップファイル等を含め、安価で堅牢なS3にまずはデータを格納し、そこから自由に利用したいというユーザの希望を実現する為に、まずは何よりもS3にファイルを持っていかなければなりません。 今回は、過去のブログも遡りつつ、これまで試してみた各種転送方式をご紹介し、それぞれのユースケースを整理しておこうと思います。また、この記事は書きっぱなしにするのではなく、今後必要に応じてメンテナンスもすることで、再利用できるような記事に育てていきたいなと思っています（執筆時点での意気込みであり、何かを保証するものではありません）。 前提 Amazon Kinesis Streamsを利用するようなリアルタイム処
Amazon S3バケットへのファイルアップロードを実現する – 01.概要&GUIお勧めツール編 | DevelopersIO
AWSに於いて、クラウドストレージサービスの『S3』は実に様々な各種AWSサービスから利用されています。サービスとしては特に欠かせないものの1つでしょう。 S3の数ある利用用途の中の1つとして『DBへデータを投入するための前段階としてS3バケットにファイルをアップロードする』というケースというものが考えられるかと思います。RDS(MySQL/Oracle/SQLServer)然り、データウェアハウス(Redshift)然り、NoSQL(DynamoDB)然り。良くある操作ですが、この操作はその手段や人手が絡む度合いに拠って、幾つかに分類する事が可能です。 そこで当エントリ、及び以降数回の続編エントリに亘って、『どんな手段があるのか、どういう風に組めばそれが実現出来るのか』と言ったポイントをキャプチャやサンプルコードを交えてそれぞれご紹介して行きたいと思います。 まずは『手段』の種類について
【AWS Lambdaの基本コードその2】 S3へのファイル保存
大柳です。 「AWS Lambdaの基本コード」シリーズ、第２回目はLambdaからS3へのファイル保存を行います。 前回記事 【AWS Lambdaの基本コード その1】 S3からのファイル取得とローカル保存 | ナレコムAWSレシピ 今回の構成 Lambdaが起動されると、テキストの内容をS3にファイルに保存します。 ローカルの/tmpディレクトリへのファイル保存なしで、直接S3にコンテンツを出力します。 コード コードは以下のようになります。 # ①ライブラリのimport import boto3 from datetime import datetime print('Loading function') # ②Functionのロードをログに出力 s3 = boto3.resource('s3') # ③S3オブジェクトを取得 # ④Lambdaのメイン関数 def lambd
【AWS Lambdaの基本コード その1】 S3からのファイル取得とローカル保存
大柳です。 最近、お客様のシステムや社内システム向けにAWS Lambdaでコードをよく書いています。 S3への読み書きなどの操作、ファイルの圧縮など、基本的なコードをまとめておくと調べる手間も省け、コード品質も一定に保てると考えて、社内へのナレッジとして整理したので、「AWS Lambdaの基本コード」シリーズとして公開します。 使い勝手と個人的な趣味からPython3系のコードでの紹介となりますが、AWS Lambda構築の手助けとなれば幸いです。 第1回目はAWS LambdaでS3上のファイルを取得しローカルに保存するコードを紹介します。 今回の構成 S3へのファイル格納をトリガーにLambdaが起動、S3に格納されたファイルを取得し、ローカルに保存します。 Lambdaではローカル保存先として/tmpディレクトリに対してファイルを読み書きできます。 LambdaでS3から取得した
S3にパブリックファイルが追加された時にメール通知するLambdaを作成する | DevelopersIO
S3上で意図せず公開されたファイルがあるのは、セキュリティ上非常に重大な脅威となりえます。今回は、S3イベントからのLambda連携を利用して、S3上にパブリック権限をもつファイルがアップロードされた時にメール通知するLambdaを紹介します。 「おれは、こんなファイルを公開するつもりはなかったんや… (T_T)」 昨今、S3オブジェクトの意図しない公開設定により重要機密が漏れるニュースをよく目にします。 AWS側でも事態を重く見ているのか、S3コンソールでパブリック設定されているバケットがあった場合の表示が、派手になりました。「パブリック！！」的な。 今回は、意図しないパブリックオブジェクトが追加された時の防止目的で、S3バケットにパブリックオブジェクトが追加されるたびに、メール通知するLambda関数を作成しました。 LambdaによるS3オブジェクトの処理に汎用的に使える方法なので、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://codeday.me/jp/qa/20190406/563539.html
https://developer-collaboration.com/2018/08/28/aws-lambda-s3-upload2/