Docker Composeで立てたMinIOにmc/AWS CLI/Boto3で接続してみる - Qiita
MinIOとは Amazon S3と互換性のあるOSSのオブジェクトストレージ 2014年に設立されたMinIO, Inc.によって開発されている Amazon S3と互換性があるため、AWS CLIやAWS SDKからアクセス可能 ただしAmazon S3が提供している全てのインタフェースをMinIOが提供しているわけではないため注意 GitHubリポジトリ: https://github.com/minio/minio Docker Composeの設定 services: minio: # イメージは現時点で最新のものを指定している image: quay.io/minio/minio:RELEASE.2023-01-12T02-06-16Z container_name: minio ports: - 9000:9000 - 9001:9001 # ユーザ名/パスワードの設定 #
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
Amazon EC2 Inf2 instances, optimized for generative AI, now available globally
Starting today, the Amazon Elastic Compute Cloud (Amazon EC2) Inf2 instances are generally available in the Asia Pacific (Mumbai), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Ireland), and Europe (Frankfurt) regions. These instances deliver high performance at the lowest cost in Amazon EC2 for generative AI models. You can use Inf2 instances to run popular applications such as text sum
Introducing Mountpoint for Amazon S3, a high performance open source file client
We are pleased to announce the alpha release of Mountpoint for Amazon S3, a new open source file client that delivers high throughput access, lowering compute costs for data lakes on Amazon S3. Mountpoint for Amazon S3 is a file client that translates local file system API calls to S3 object API calls like GET and LIST. It is ideal for read-heavy data lake workloads that process petabytes of data
2022/12/10 最新の情報に更新しました。また一部の文章を修正・更新しています。 こんにちは！ BFT名古屋支店の佐野です。 今回はEC2インスタンスが一定時刻に起動、停止する仕組み作りについてのお話です。 EC2インスタンスは起動している間だけ料金が発生するので、誰も触っていない時間帯に起動させておくのは非常にコスト面で悪く、もったいないです。 多くの場合は「使わない時は停止しておく」運用をされていると思いますが、手動だとうっかり停止し忘れてしまう……なんてことも多々あるでしょう。 ですので、そもそも忘れてしまってもいいように、起動や停止を自動化してしまおうというのが、今回の趣旨になります。 はじめに：EC2の自動起動・自動停止の前提条件 今回のEC2インスタンスの自動起動・自動停止には、Systems ManagerとEventBridgeというふたつのAWSサービスを使用します
【レポート】Architecting and Building – ログデータ用のデータレイク＆分析環境をクイックに構築するには？ #AWSSummit | DevelopersIO
はじめに 皆さんこんにちは。石橋です。 2020年9月8日から9月30日までオンラインで視聴可能なクラウドカンファレンス、AWS Summit Online 2020が開催中です！！ 本エントリではライブセッション「AAB-03：Architecting and Building - ログデータ用のデータレイク＆分析環境をクイックに構築するには？」のレポートをお届けします。 概要 スピーカー アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 下佐粉 昭 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 野間 愛一郎 セッション概要 ログやデータベースに色々なデータが溜まっている。できればデータを集めて分析したいんだけど、どのようにすれば良いか分からない、という方も多いのではないでしょうか。本セッションでは、架空のお
Red Hat Enterprise LinuxのHigh Availability Add-OnでActive/Standby構成のクラスターを組んでみた | DevelopersIO
参考: Amazon EC2 オンデマンド料金 どちらのインスタンスファミリーも、インスタンスサイズが大きくなればなるほど、Red Hat Enterprise Linux HAのオンデマンド料金はRHELのオンデマンド料金に近似していくことが分かります。 クラスター構成を組む必要がある場合、ユースケースにもよりますが、処理性能などの関係で大きめのインスタンスサイズを選択することが多いと思います。大きめのインスタンスサイズを選択したとしても、素のRHELからそこまで大きな追加課金が派生しないのは嬉しいポイントですね。 やってみた 検証環境 今回検証を行う環境は以下の通りです。 3つEC2インスタンスを用意したのはスプリッドブレイン対策です。 HA Add-Onでは、クォーラムデバイスによるスプリッドブレイン対策も可能ですが、今回は3ノード構成でクラスターを組んでみます。 クォーラムデバイス
前回、前々回でLambda + API GatewayでREST API、CSVのダウンロード、CORSの対応を紹介してきました。 今回は画像や動画、ZIPファイル等のバイナリファイルをダウンロードする方法を紹介します。 前回、前々回のLambdaを使いまわしますので、先にそちらを参照してください。 xp-cloud.jp xp-cloud.jp 全体的な流れは次のようになります 図を見ていただくと分かりますが、今回はAPI Gatewayを少し変更します。 画像ファイルの用意 今回はS3 へ画像ファイルを用意しました。 この画像をAPI Gateway、Lambdaを経由してダウンロードさせたいと思います。 Lambdaの用意 Lambdaを次のように変更してください var AWS = require('aws-sdk'); var s3 = new AWS.S3(); exports
こんにちは、イムチェジョンです。 今回のブログではAmazon S3のオブジェクトのレプリケーションを保存するバケット作成してみました。 アジェンダ オブジェクトのレプリケーションとは？ レプリケーションバケットの作成 まとめ 1. S3のレプリケーションとは？ レプリケーションを使用しますと、Amazon S3のバケット全体のオブジェクトを自動で非同期的にコピーする オブジェクトの複製のために構成されたバケットは同じAWSアカウントまたは他のアカウントが所有可能 オブジェクトは単一の対象バケットまたは複数の対象バケットに複製できる 基本的に、複製は活性化された新しいAmazon S3オブジェクトのコピーのみサポートする 複製を使って既存のオブジェクトを他のバケットにコピーするためには、AWS Support Centerに問い合わせる必要がある 2. レプリケーションバケットの作成 S3
LocalStackでS3署名付きURLを使う時に気を付けるポイント | フューチャー技術ブログ
TIGの伊藤真彦です。 AWS S3を利用してファイルをアップロード、ダウンロードするフロントエンドアプリケーションの実装を行ったのですが、その際ハマったポイントがいくつかあったのでまとめます。 LocalStackでS3を利用するAWSの機能をローカル環境で模擬するツールでお馴染みのLocalStackですが、AWS S3の機能も模擬できるようになっています。 docker-compose.ymlに設定を記述して、バックエンドAPIなど諸々のコンテナ群と一緒に利用するのが今日では一般的でしょうか。 docker-compose.ymlversion: "3" services: localstack: image: localstack/localstack:0.11.3 container_name: localstack ports: - 4566:4566 - 8080:8080
Amazon Linux2 に Nginx フロントエンド構成で GitBucket をインストールする - らくがきちょう
Amazon Linux2 に GitBucket をインストールする手順をメモしておきます。 Java のインストール GitBucket の公式ページには下記の記載があります。 GitBucket requires Java8. You have to install it, if it is not already installed. 試しに amazon-linux-extras にある Java11 でチャレンジしてみたのですが、やはり GitBucket が起動しませんでした。 ここは素直に Java8 をインストールしていきます。 Java8 であれば Amazon Linux の標準リポジトリからインストール出来ます。 現時点でインストール可能なバージョンは 1.8.0.201.b09 でした。 # yum info java-1.8.0-openjdk Loaded p
EC2 と S3 は同じネットワーク（ VPC ）内にいないので、通常の通信は、EC2 → インターネット → S3 となり、 S3 へのアクセスは、インターネットを介した通信となる。ここに VPC エンドポイントを設定すると、インターネットを介することなく、 EC2 – S3 間でセキュアな通信が可能となる。 また、インターネット経由での S3 のデータ転送には費用が生じるが、 EC2 と S3 が同じリージョンにあればデータ転送量は無料！異なるリージョンでも安くなるはず。 VPC エンドポイントについて VPC とは VPC とは Virtual Private Cloud の略。 Amazon VPC は、 AWS 上にある仮想ネットワークのこと。 Amazon VPC とインターネットの通信は、インターネットゲートウェイを介しておこなわれる。 EC2 と S3 のネットワーク構成
![[AWS] VPCエンドポイント経由でEC2からS3へファイル転送](https://cdn-ak-scissors.b.st-hatena.com/image/square/399ecdd85398cf15a974c0879724f1a181c344e0/height=288;version=1;width=512/https%3A%2F%2Fagohack.com%2Fwp%2Fwp-content%2Fuploads%2F2019%2F04%2FAWS-thumbnail.png)
こんにちは、久住です。 先日S3バケットポリシーを色々といじっていたのですが、意外なところで詰まったので残しておきます。 ということで今日は、S3バケットのアクセスエラーが起こったときの対処について紹介します。 はじめに S3バケットのアクセス制御はIAMポリシー、バケットポリシー、S3ACL等で実施可能です。 S3のアクセスコントロールが多すぎて訳が解らないので整理してみる その中でS3バケットポリシーでの制御がシンプルかつ柔軟なのでよく利用するのですが、色々いじりまくっていたらエラーとなって編集どころかバケット自体の削除もできなくなってしまいました。 対処方法は下記URLにある通り、AWSアカウントのrootユーザーでログインしてバケットポリシーを削除する必要があるようです。 https://aws.amazon.com/jp/premiumsupport/knowledge-cent
【Ask SA!】現場のデバイスからAmazon S3のVPC エンドポイントへ閉域アクセスする方法 - SORACOM公式ブログ
こんにちわ。ソリューションアーキテクトのyskです。 ソラコムのソリューションアーキテクトおよびプロフェッショナルサービスコンサルタントがSORACOMを活用する技術情報をお届けするAsk SAシリーズの第二弾です。 この記事では現場のデータをSORACOM Airを利用して閉域網内でAmazon S3(以下S3)にアップロードする方法についてご紹介します。 Amazon S3はAmazon Web Service（以下AWS）のオブジェクトストレージサービスで、IoTのワークロードにおいてもデータ収集ストレージや外部との連携ハブとして多く活用される便利なサービスです。 IoTでは現場とクラウド間のデータ通信を閉域網内に閉じたいと相談をいただくケースも多く、S3へのアクセスもエンドツーエンドの閉域網内で実現する方法が求められる場合があります。（※この文脈での閉域網とは通信の途中経路でネット
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。 データ分析基盤を構築するのに必要な不可欠なものとしてデータレイクが挙げられます。AWS を利用して構築する際には Amazon S3 の利用が推奨されています。 【公式参照】AWS 上でのデータレイク - Amazon S3 データレイクでデータサイロを排し、大規模で簡単な分析を可能にする Amazon S3 はデータレイク以外にも静的コンテンツ置き場として幅広い用途で利用されています。 安価かつ簡単に利用することが出来る一方、設定を 1 つ間違えると情報流出に繋がる
CloudFront 署名付きURLと署名付きCookieをおさらいしてPythonで試してみた | DevelopersIO
CloudFrontの署名付きURLと署名付きCookie、定義を整理して、Pythonで試してみました。 Guten Abend, ベルリンの伊藤です。 SAPの勉強中、Trusted Signer, OAI なんてキーワードが出てきて、結構理解が曖昧だったことに気付いたので一からおさらいしました。 ドキュメントを元に要約した各設定の解釈と、Pythonによるやってみたを載せます。 導入 S3などオリジンに配置してあるコンテンツをCloudFront経由で配信します。主な目的は配信の高速化ですね。毎度オリジンまで取りに行かなくても、世界中にあるCloudFrontエッジロケーションにより、ユーザに近いエッジから配信されます。 そしてプライベートなコンテンツを制限を設けて配信したい場合には、本記事で取り扱う 署名付き URL/Cookie を使うことができます。 これは、誰でもかれでもCl
EC2 で稼働しているシステムを ECS Fargate に移行させる - アイリッジ開発者ブログ
こんにちは。popinfo 運用チームの川口です。弊社がサービス提供している popinfo のウェブ管理画面を EC2 中心のインフラから ECS Fargate 中心のインフラへ今年の1月末に移行しました。移行作業を行うにあたって得られた知識や経験などがいくつかありましたのでご紹介します。 移行前のインフラ構成 まず移行前のインフラ構成についてご説明します。上記は移行前のインフラリソースとネットワークの流れを簡易的に表した図になります。少なくとも3年以上前にAWS上で構築されたシステムとなっており、今となってはかなりシンプルな構成です。 個別のリソース解説 End User popinfo を導入して頂いているアプリの運用担当者様が管理画面の主な利用者になります。利用者は管理画面にログインしてプッシュ配信の登録や予約などの操作をされます。 Internet Gateway VPC内のリ
概要 AWS EC2のインスタンスIDやホスト名、AMI-IDなどの情報を、EC2インスタンス内から取得する方法を記載します。 169.254.169.254を叩くと色々と教えてくれるようです。 インスタンスIDを取得する curlコマンドを使って取得できます。 $ curl http://169.254.169.254/latest/meta-data/ ami-id ami-launch-index ami-manifest-path block-device-mapping/ hostname instance-action instance-id instance-type kernel-id local-hostname local-ipv4 mac metrics/ network/ placement/ profile public-hostname public-ipv4
Coming Soon – Graviton2-Powered General Purpose, Compute-Optimized, & Memory-Optimized EC2 Instances | Amazon Web Services
AWS News Blog Coming Soon – Graviton2-Powered General Purpose, Compute-Optimized, & Memory-Optimized EC2 Instances We launched the first generation (A1) of Arm-based, Graviton-powered EC2 instances at re:Invent 2018. Since that launch, thousands of our customers have used them to run many different types of scale-out workloads including containerized microservices, web servers, and data/log proces
本日より Amazon EC2 インスタンスで稼動中のアプリケーションが AWS Global Accelerator から直接使用できるようになりました。これまで、Global Accelerator と EC2 インスタンスとを接続するには、Elastic IP アドレスを使用する必要がありました。今後は、EC2 インスタンスに 1 つのインターネット直接アクセスポイントとして、直接 Global Accelerator を使用できるようになります。これに伴い、ローカルまたはグローバルユーザー向けにアプリケーションの可用性とパフォーマンスが改善されます。また、EC2 インスタンスへ接続するために、Global Accelerator と合わせて、Application Load Balancer または Network Load Balancer も使用できます。 EC2 インスタンス
ライフサイクルルールとは？ 一定時間経過した後にS3のオブジェクトを別のストレージクラスに移行させるための設定になります。 S3のコストを抑えるために使用します。 前提 使用するTerraformのバージョン情報 % terraform --version Terraform v1.1.8 on darwin_amd64 + provider registry.terraform.io/hashicorp/aws v4.22.0 Your version of Terraform is out of date! The latest version is 1.2.7. You can update by downloading from https://www.terraform.io/downloads.html % コード適用の流れについては省きます。 コード適用迄の流れを知りたい方は
概要 今回は、CloudWatch Logsのサブスクリプションフィルターを使用して、CloudWatch Logs のログを定期的にS3 へ転送します。 CloudWatch Logs のログをS3 へ転送する方法は、以前こちらで紹介したCloudWatch Logsのエクスポート機能を利用する方法もあります。しかし、エクスポート機能で実現する場合は、エクスポートのタスクを定期実行するために Lambdaが必要になること、そして、同時に複数のエクスポートタスクを実行できない仕様です。そのため、CloudWatch Logsのエクスポート機能に代わる方法が良いと思います。 また、コストの観点であれば、CloudWatch Logs のデータ取り込み（例: 東京リージョン 0.76USD/GB）、S3 のPUT（例: 東京リージョン 0.0047USD/1,000リクエスト）にそれぞれ料金が
【Terraform】CloudFront から S3 へのアクセス制御に Origin Access Control を利用する
CloudFront から S3 へのアクセス制御方法として新しく Origin Access Control (OAC) というものが発表されました。 これにより従来の Origin Access Identity (OAI) によるアクセス制御は Legacy となりました。 詳しくは次の記事をご参照ください。 Terraform の AWS Provider も本日リリースされた v4.29.0 から OAC をサポートしたので、 CloudFront から S3 へのアクセス制御に OAC を利用する Terraform のサンプルコードを備忘録として残しておきます。 前提 AWS Provider のバージョンが v4.29.0 以降である必要があります。 サンプルコード Origin Access Identity を利用したアクセス制御 ( レガシー ) 今まで CloudF
先日、当社は EC2 のお客様の制限管理を簡易化する、Amazon EC2 の vCPU ベースのオンデマンドインスタンス制限を発表しました。本日より、Amazon EC2 コンソールから vCPU ベースの制限の使用をオプトインできます。 vCPU ベースの制限に対するオンデマンドインスタンスの使用量は実行中のインスタンスに接続されている仮想中央処理ユニット (vCPU) の数で測定されるため、Amazon EC2 の幅広いインスタンスタイプを簡単に利用できます。さらに、オンデマンドインスタンスには 5 種類の制限しかありません。1 つは、A、C、D、H、I、M、R、T、Z などのスタンダードインスタンスファミリーの使用を管理する制限、残りの 4 つは、FPGA (F)、グラフィック集約型 (G)、汎用GPU (P)、および特殊メモリ最適化 (X) インスタンス向けの特殊なインスタンスフ
こんにちは、なかはらです。AWSでよく利用されているサービスとしてEC2がありますが、LinuxやWindowsサーバの検証でインスタンスの作成ウィザードからパラメータを設定してぽちぽち起動する手間、長時間のインスタンスの稼働で高額な請求となってしまいます。検証であればスポットインスタンスを使うことで安価になりますし、インスタンスを作成する設定情報をテンプレートにしてくれる起動テンプレートを使ってサクッと起動することが可能です。スポットリクエストを設定した起動テンプレートを作成し、インスタンスを起動してみます。 目次 起動テンプレート、スポットインスタンスとは 事前準備 設定 起動してみた まとめ 起動テンプレート、スポットインスタンスとは 起動テンプレートの説明は、ユーザガイドからの引用です。 インスタンスを起動するための設定情報を含む起動テンプレートを作成できます。起動テンプレートによ
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 チュートリアル: Amazon S3 トリガーを使用してサムネイル画像を作成する このチュートリアルでは、Amazon Simple Storage Service (Amazon S3) バケットに追加された画像のサイズを変更する Lambda 関数を作成および構成します。バケットに画像ファイルを追加すると、Amazon S3 は Lambda 関数を呼び出します。その後、この関数が画像のサムネイルバージョンを作成し、別の Amazon S3 バケットに出力します。
特にオチ無し。 Amazon Linux 2 の EC2 インスタンスを作るマネジメントコンソールからポチポチやって作ればおｋ 今回使った AMI は ami-0c3fd0f5d33134a76 でした。 あとでコマンドコピペするならインスタンスIDをメモっておくと便利。 EC2 インスタンスに ssh で接続$ INCTANCE_ID=i-xxxxxxxxxxxxxxxxx$ INCTANCE_IP=$(aws ec2 describe-instances --instance-ids $INCTANCE_ID --query 'Reservations[].Instances[].PublicIpAddress' --output text)$ ssh "ec2-user@$INCTANCE_IP"Kernel Panic を起こす$ sudo -s# echo c > /proc/s
AWS SDK for PHP の公式ドキュメントにある getObject を使って 1G のファイルをダウンロードしようとしたらメモリ不足でできなかった。 AWS だと期限付きのダウンロード用 URL を発行し、 URL にアクセスするやり方があるようだけど、 Amazon S3 ストリームラッパーを使ってストリーミングでダウンロードさせる方法を使ってみた。 また getObject を使った場合と、ストリーミングする場合のメモリ使用量を計測した。 エラーになるダウンロード方法 公式ドキュメント AWS SDK for PHP を使用したオブジェクトの取得 に載っている getObject メソッドを使った方法。 $bucket = 'BUCKET-NAME'; $keyname = 'KEY'; $filename = 'FILE-NAME'; $result = client->g
Amazon Relational Database Service (RDS) スナップショットの S3 へのエクスポートを発表
Amazon Relational Database Service (Amazon RDS) または Amazon Aurora のスナップショットを、分析用の効率的なオープンカラムナーストレージ形式である Apache Parquet として Amazon S3 にエクスポートできるようになりました。Parquet 形式は、テキスト形式と比較して、エクスポートが最大 2 倍速く、Amazon S3 でのストレージ使用量が最大 6 倍少なくすみます。エクスポートしたデータは、Amazon Athena、Amazon EMR、Amazon SageMaker などの他の AWS のサービスを使用して分析できます。 Amazon RDS マネジメントコンソールで数回クリックするだけで、あるいは AWS SDK または CLI を使用してエクスポートを行うことができます。エクスポート操作はデー
しばたです。 EC2でSQL Server Express扱う際の情報が意外と見つからなかったのでいろいろ調べてみました。 本記事では調べた内容をざっくばらんに共有していきます。 はじめに SQL Serverには利用する機能や用途に応じて様々なエディションがありますが、Express Editionはデスクトップ、WEB、小規模サーバー向けに用意された無料エディションになります。 (SQL Serverのダウンロードページより) 無料エディションなので利用可能スペックに制限はありますが、AWSにおいてもRDS for SQL Serverでの提供およびSQL Server ExpressがバンドルされたAMIが公開されており普通に使うことができます。 以下に本日時点で利用可能なRDS for SQL ServerとSQL Server Express入りAMIのリストを記載します。 RD
Fargate + Firelens + FluentBit + Firehose で S3(Firehose) と Datadog にログを送る - Qiita
Fargate + Firelens + FluentBit + Firehose で S3(Firehose) と Datadog にログを送るAWSDockerTerraformDatadogfluentbit Firelens + FluentBit を使って Datadog と S3(Firehose) にログを送る方法です。 今までは CloudWatchLogs, Lambda, StepFuntion を組み合わせて Datadog と S3 にログを送っていたのですが、Datadog にログを送る Lambda がたまにコケるので、Firelens と FluentBit を使ってログを送るようにしました。 Terraform を使って Fargate で Nginx を動かす まず、Terraform を使って Fargate で Nginx を動かします。 ファイル全文
New – Use Amazon S3 Object Lambda with Amazon CloudFront to Tailor Content for End Users | Amazon Web Services
AWS News Blog New – Use Amazon S3 Object Lambda with Amazon CloudFront to Tailor Content for End Users With S3 Object Lambda, you can use your own code to process data retrieved from Amazon S3 as it is returned to an application. Over time, we added new capabilities to S3 Object Lambda, like the ability to add your own code to S3 HEAD and LIST API requests, in addition to the support for S3 GET re
GitHub - presslabs/z3: Backup your ZFS snapshots to S3.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
S3 is files, but not a filesystem March 2024 "Deep" modules, mismatched interfaces - and why SAP is so painful My very own "object store" Amazon S3 is the original cloud technology: it came out in 2006. "Objects" were popular at the time and S3 was labelled an "object store", but everyone really knows that S3 is for files. S3 is a cloud filesystem, not an object-whatever. I think the idea that S3
突然ですが 皆さん。 S3へサイズの大きいオブジェクトをアップロードする時に、こんなイラっとしたことありませんか？ 長時間のアップロード中にネットワークエラーで処理失敗。また最初からかよ・・・ そのようなときには「マルチパートアップロード」を利用することで、中断したアップロードをリトライすることができます。 今回は、S3のパフォーマンスを最適化する機能「マルチパートアップロード」についてまとめてみました。 マルチパートアップロードとは 簡単にいうと サイズの大きいオブジェクトを分割して効率よくアップロードするS3機能のことです。 S3のユーザーガイドによるとオブジェクトサイズが100MB以上の場合に利用を推奨しています。 また、利用メリットは下記になります。 アップロード完了までの道のり 大まかに下記の流れでマルチパートアップロードできます。 １．オブジェクトを分割する ２．マルチパートア
Amazon S3 Intelligent-Tiering – Improved Cost Optimizations for Short-Lived and Small Objects | Amazon Web Services
AWS News Blog Amazon S3 Intelligent-Tiering – Improved Cost Optimizations for Short-Lived and Small Objects In 2018, we first launched Amazon S3 Intelligent-Tiering (S3 Intelligent-Tiering). For customers managing data across business units, teams, and products, unpredictable access patterns are often the norm. With the S3 Intelligent-Tiering storage class, S3 automatically optimizes costs by movi
I have 15 years of consulting & hands-on build experience with clients in the UK, USA, Sweden, Ireland & Germany. Past clients include Bank of America Merrill Lynch, Blackberry, Bloomberg, British Telecom, Ford, Google, ITV, LeoVegas, News UK, Pizza Hut, Royal Mail, T-Mobile, Williams Formula 1, Wise & UBS. I hold both a Canadian and a British passport. My CV, Twitter & LinkedIn. In 2006, AWS laun
S3に静的ページを独自ドメインを利用してホスティングする - RAKUS Developers Blog | ラクス エンジニアブログ
始めに 弊社では、数行と画像１枚の静的ページを表示させるためだけ に、1台サーバーを構築し保守運用してました。 それだけのために、1台のサーバーを保守運用するの馬鹿らしくね？？？？？？ ＼＼＼うん！馬鹿らしい／／／ ということで、AWS上に移行すること となりました にしました。 今回は、S3とCloudFrontを利用して静的ページを表示させる設定をご紹介させていただきます。 初歩的な内容となりますので、これから静的ページを作りたいんだけど！といった方向けの内容となります。 始めに 要件 構成について AWSの利用サービス 構成図 実際の設定手順 S3設定 1. バケット作成 2. indexファイルのアップロード CloudFront設定 1. ディストリビューションを作成 2.ポリシー設定 3.接続確認 Route53 設定 1. カスタム SSL 証明書発行 2. CNAME登録
概要 Web ブラウザーから実行する JavaScript で、AJAX 通信で Amazon S3 の Bucket にできるだけセキュアに画像ファイルをアップロードできるようにしてみます。 取り扱い可能な画像ファイルは png、jpeg、gif を想定しています。 作業は、次の順で進めます。 アップロード先となる S3 Bucket の作成 S3 に PutObject だけが可能なポリシーを作成 STS が使用するロールの作成 アップロードのみ可能なIAMユーザーを作成 Lambda 関数を作成 Lambda が使用するロールにポリシーをアタッチ API Gateway を作成 クライアントプログラムの作成 アップロード先となる S3 Bucket の作成 アップロード先となる Bucket を作成します。 ここでは、 images という名前で Bucket を作成します。 アップ
[re:Invent 2019] EC2 Image Builder で複数コンポーネントを実行してみた #reinvent | DevelopersIO
こんにちは、コンサル部の望月です。 Image Builder おじさん化し、2本ブログを更新しました。 [re:Invent 2019] EC2 Image Builder でコンポーネントを作成してみた #reinvent [re:Invent 2019] EC2 Image Builder で S3 からコンテンツをデプロイしてみた #reinvent 今回は、複数コンポーネントをイメージパイプラインで実行してみたいと思います。前回のコンポーネントで、OS アップデート、Apache インストール、コンテンツデプロイと行っていたので、これらの処理を 3 つのコンポーネントで分ける形で実行してみたいと思います。 上記、2 本のブログでやった内容は本ブログでは詳しく触れないため、不明な点がある場合は上記ブログを参照いただくのがよいかと思います。 やってみた コンポーネントの作成 コンポー
![[re:Invent 2019] EC2 Image Builder で複数コンポーネントを実行してみた #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a298426174d5914a0e9708095c8dd40c4722cc0d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_newservice_eyecatch.jpg)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Console-to-Code：コンソールアクションのコードを生成可能に
【AWS】EC2の自動起動・自動停止を実装する方法 - BFT名古屋 TECH BLOG
Lambda + API Gateway入門。画像のDL | システム・アプリ開発 - クロスパワークラウドブログ
Amazon S3のレプリケーション機能を使用してみました。 | DevelopersIO
[AWS] VPCエンドポイント経由でEC2からS3へファイル転送
S3バケットアクセスがエラーになったときの対処 | DevelopersIO
Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
EC2インスタンス内から情報を取得する方法 - Qiita
AWS Global Accelerator で EC2 インスタンスエンドポイントのサポートを開始
【Terraform】S3のライフサイクルルールの設定 - Qiita
CloudWatch Logs を定期的にS3 へ転送する | Oji-Cloud
Amazon EC2 で vCPU ベースのオンデマンドインスタンス制限が利用可能に
起動テンプレートを使ってお手軽にスポットインスタンスを起動する | DevelopersIO
チュートリアル: Amazon S3 トリガーを使用してサムネイル画像を作成する - AWS Lambda
Amazon Linux 2 で kernel panic を起こしてシステムログを取得したメモ
[PHP] AWS S3から大容量ファイルをダウンロードする方法とメモリ使用量
EC2でのSQL Server Expressの利用に関するよもやま話 | DevelopersIO
S3 is files, but not a filesystem
S3マルチパートアップロード ～Amazon S3パフォーマンス最適化してますか？～ - Qiita
MinIO: A Bare Metal Drop-In for AWS S3
JavaScriptでAmazon S3にファイルをアップロード - Qiita