【MinIO】Amazon S3をローカルで使用する方法 | Yukkuri Machine Learningはじめに この記事では、MinIOをいうサービスを使って、Amazon S3をローカルで使用できる環境を構築します。 MinIOはS3と互換性をもつので、aws sdk を用いたアクセスや、boto3を用いたpythonによる操作が可能です。
アクセス制御を厳格に行っている環境からのs3利用 | BLOG - DeNA Engineering
こんにちは、IT基盤部第一グループの生井です。 DeNAが提供するヘルスケア系サービスのインフラを担当しています。 ヘルスケア領域ではセンシティブ情報を扱いますので、日々高レベルなセキュリティ設計・運用を行う必要があります。 今回はその一例として、アクセス制御を厳格に行っている環境からS3を利用する際に行った対応を紹介したいと思います。 はじめに あるプロジェクトで、センシティブ情報を扱う環境から、S3の特定バケットにのみ、awscliでのデータdownload/uploadを許可したいという要件がありました。 補足：特定バケットに限定するのは出口対策のためです。任意のS3バケットへのアクセスを許可してしまうと、内部犯行によるデータの持ち出しや、マルウェア感染によるデータ漏洩のリスクが高まります。 対応として、この環境で実績のある、FWでのFQDNベースでのアクセス制御を行うことにしました
Amazon S3 path-style 廃止予定 – それから先の話 – | Amazon Web Services
Amazon Web Services ブログ Amazon S3 path-style 廃止予定 – それから先の話 – 先週(4/30)、私たちは非常に静かな（実際には静かすぎる）発表を行いました。S3 バケット内のオブジェクトのアドレスを指定するために使用される、パスベースのアクセスモデルについて、ゆっくりとそして慎重に廃止するという計画です。私はこのブログ記事を書くために、状況をよりよく理解すべく、S3チームと話し合うことに時間を費やしました。私が学んだことは以下です… S3 は、2006年の始めにサービスが開始されました。S3 における Jeff Bezosの考える元々の仕様は、非常に簡素なものでした。彼はインターネットにおける malloc （C言語プログラムにおけるキーメモリ割り当て関数）に相当するようなものを望んでいました。その出発点から、S3 は何兆ものオブジェクトを格納
2020年9月30日以前に作成済みの S3 バケットはパス形式廃止対象から除外されました | DevelopersIO
先日、2020年9月30日以降に S3 パス形式での API リクエストが受け付けられなくなる記事を投稿しました。 【注意喚起】 2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなります。 その後、AWS 公式ブログにて、２０２０年9月30日以前に作成されている S3 バケットについては、パス形式廃止除外とする方針に変更したことが発表されましたので、あらためてシェアいたします。（前回のエントリーにも追記させていただきました） パス形式の廃止対象 Original Plan – Support for the path-style model ends on September 30, 2020. Revised Plan – Support for the path-style model continues for buckets created on
Amazon S3からAmazon RDS for PostgreSQLにデータをロードできるようになりました | DevelopersIO
Amazon S3から Amazon RDS for PostgreSQL Amazon Aurora with PostgreSQL に直接データをロードできるようになったのでご紹介します。 他のDBエンジンについては、以下の記事を参照ください。 Oracle MySQL PostgreSQL SQL Server 旧方式:S3 → サーバー → RDS 方式 S3 から RDS にデータをロードする場合、以前は S3 のデータを一度 EC2 などのサーバーに転送し、サーバー上から COPY コマンドを利用して RDS に取り込む必要がありました。 新方式:S3 → RDS 方式 今回の機能追加により、サーバーを介することなく、 S3 から直接データをロードできるようになりました。 対応バージョン 本機能は Amazon RDS for PostgreSQL 11.1 以上 Amazon
アプリ制作で最初から入れておきたい機能｜masuidrive
アプリのメンテナンスや告知などを行う機能はすぐには使わないけど、必ず必要になるので最初から入れておきたいですよね。 そのために、。アプリ起動時や復帰時に適当なURLを叩いてJSONを取得して、ダイアログでメッセージを表示する機能を実装しておくといいでしょう。 URLを開くと通常は404が返ってきて、その場合は何も表示しないようにしておきます。 このURLはS3など本体のサービスとは違うドメインとサーバにおきます。 サーバのメンテナンスや不具合でアクセスできない場合には、このURLに適当なJSONを置くようにします。あとこのファイルの多言語化も忘れずに。 JSONの中にはメッセージ本文と、詳細ページのURL、何度も表示するか一度だけかなどを持っておくといいでしょう。 { "message": { "ja": "20時までメンテナンスです", "en": "We have scheduled
S3で誤ったデータの公開を防ぐパブリックアクセス設定機能が追加されました ｜ DevelopersIO
全AWSユーザが今すぐ設定したほうがいいS3のセキュリティを向上するアップデートです。パブリックアクセス設定を有効化して誤ったS3オブジェクトの公開を防ぎましょう。 こんにちは、臼田です。 S3のセキュリティを向上する素晴らしいアップデートが来ました！ほぼすべてのAWSユーザがこの設定を今すぐ有効化すべきだと思います。 S3で新たにパブリックアクセス設定という機能が追加され、誤ってデータを公開してしまうことを防ぐ設定をAWSアカウント全体・バケット毎にできるようになりました。 Amazon S3 Block Public Access – Another Layer of Protection for Your Accounts and Buckets | AWS News Blog この良さを理解するにはこれまでどうなっていたかを知る必要がありますので、そこから順に説明したいと思います。
[AWS Black Belt Online Seminar] データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法 資料及び QA 公開 こんにちは、マーケティングの鬼形です。 先日 (2018/6/19) 開催しました AWS Black Belt Online Seminar「データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法 PDF Q. RDSからGlueでData Catalogを作成する際、負荷などかかるのでしょうか？分析用にユーザ操作から
![[AWS Black Belt Online Seminar] データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/cf3193bc4e0df2bf12f143a9a50efae86fe33c2c/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2018%2F06%2F25%2Fbb_619.png)
S3にパブリックファイルが追加された時にメール通知するLambdaを作成する | DevelopersIO
S3上で意図せず公開されたファイルがあるのは、セキュリティ上非常に重大な脅威となりえます。今回は、S3イベントからのLambda連携を利用して、S3上にパブリック権限をもつファイルがアップロードされた時にメール通知するLambdaを紹介します。 「おれは、こんなファイルを公開するつもりはなかったんや… (T_T)」 昨今、S3オブジェクトの意図しない公開設定により重要機密が漏れるニュースをよく目にします。 AWS側でも事態を重く見ているのか、S3コンソールでパブリック設定されているバケットがあった場合の表示が、派手になりました。「パブリック！！」的な。 今回は、意図しないパブリックオブジェクトが追加された時の防止目的で、S3バケットにパブリックオブジェクトが追加されるたびに、メール通知するLambda関数を作成しました。 LambdaによるS3オブジェクトの処理に汎用的に使える方法なので、
[AWS Black Belt Online Seminar] AWS で構築するデータレイク基盤のアーキテクチャ 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS で構築するデータレイク基盤のアーキテクチャ 資料及び QA 公開 こんにちは、マーケティングの鬼形です。 先日(2018/4/24)開催しました AWS Black Belt Online Seminar「AWS で構築するデータレイク基盤のアーキテクチャ」の資料を公開致しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180424 AWS Black Belt Online Seminar AWSで構築するデータレイク基盤のアーキテクチャ PDF 録画（オンデマンドセミナー） Q1. データスチュワードは、DataLake の TIer 1,2,3 および DWH 全てを定義・管理するイメージでしょうか？ A1. 企業ごとに運用事情は
![[AWS Black Belt Online Seminar] AWS で構築するデータレイク基盤のアーキテクチャ 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/141080df98c22afffd695ac57fd22878dd829707/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2018%2F04%2F26%2F0424.png)
ブラウザからS3に巨大なファイルを低メモリで送りつけるアレ｜Wano Group Developers Blog
ブラウザから8GB以上の巨大なファイルや多量のファイルをS3に送りつけるには、MultiPart Uploadの機能を使っていく必要がある。 具体的には、データを5MB以上のchunkに分け、分割して送りつけることになる。 データが8GBいかないケースでも、ファイル読み込み量を分割できる機構が使えるので、メモリにも優しい。 それなりに使う場面はありそう。 1.とりあえずドキュメント通り実装して徳を積む マルチパートアップロードの概要 Multipart Upload API を使用したオブジェクトのアップロード (1) S3のCORS設定 ExposeHeader => ETag を指定する。 AllowHeader <AllowedHeader>Authorization</AllowedHeader> <AllowedHeader>Content-Type</AllowedHeader
Amazon S3 Update: New Storage Class and General Availability of S3 Select | Amazon Web Services
AWS News Blog Amazon S3 Update: New Storage Class and General Availability of S3 Select I’ve got two big pieces of news for anyone who stores and retrieves data in Amazon Simple Storage Service (Amazon S3): New S3 One Zone-IA Storage Class – This new storage class is 20% less expensive than the existing Standard-IA storage class. It is designed to be used to store data that does not need the extra
Power from wind: Open data on AWS | Amazon Web Services
AWS Big Data Blog Power from wind: Open data on AWS Data that describe processes in a spatial context are everywhere in our day-to-day lives and they dominate big data problems. Map data, for instance, whether describing networks of roads or remote sensing data from satellites, get us where we need to go. Atmospheric data from simulations and sensors underlie our weather forecasts and climate mode
S3 publisher
If you'd like to have some of your artifacts be publicly downloadable, see Granting public access to some S3 objects When activated, traditional (Freestyle) Jenkins builds will have a build action called S3 Copy Artifact for downloading artifacts, and a post-build action called Publish Artifacts to S3 Bucket. For Pipeline users, the same two actions are available via the s3CopyArtifact and s3Uploa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deleting multiple objects - Amazon Simple Storage Service
GitHub - TTLabs/EvaporateJS: Javascript library for browser to S3 multipart resumable uploads
Amazon S3 TransferManager | Amazon Web Services
AWSにおけるデータレイクの構築
GitHub - jenkinsci/s3-plugin: Upload Jenkins build artifacts to Amazon S3
Amazon S3: Allows Amazon Cognito users to access objects in their bucket - AWS Identity and Access Management