2023 年 3 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 | Amazon Web Services
Amazon Web Services ブログ 2023 年 3 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 2023 年 3 月に公開された AWS Black Belt オンラインセミナーの資料及び動画についてご案内させて頂きます。 動画はオンデマンドでご視聴いただけます。 また、過去の AWS Black Belt オンラインセミナーの資料及び動画は「AWS サービス別資料集」に一覧がございます。 YouTube の再生リストは「AWS Black Belt Online Seminar の Playlist」をご覧ください。 Amazon CloudWatch Synthetics Amazon CloudWatch Synthetics は 外形監視を行うことのできる AWS サービスです。本セッションでは、Amazon CloudWatch
【AWS/CloudFront/S3/Cognito】静的ウェブサイトにCognitoの認証をつけたい（dbt） - データベース技術調査ブログ
タイトルの内容に入る前になぜこのようなことをしたいかという背景を少し語ります。 最近DWHをいかにアジャイルに構築して運用していくかについて考えています。商用のツールを使えばいいアプローチはいくらでもありますが、この手のツールはとても高価なイメージがあります。 そこで目に入ってきたのがdbt (data build tool) というOSSです。 dev.classmethod.jp dbtというツールはいくつもいい点があるのですが、一番好きななのはドキュメントを自動生成してくれるというところにあります。 dbtはOSSのCLI版とSaaS版があります。 www.getdbt.com チーム版は開発ユーザ当たり50$/月ということで、そこまでお高くはない気がしますが、そもそもあまりクラウドサービスをがっつり使うことに抵抗があったりする場合もあるなと思ったりします。（そんな抵抗ない場合は使う
こんにちは。さかいです。 バージョニングが有効となっているS3バケットのオブジェクトを削除する場合、バージョニングを利用していない場合と動きが異なるので、確認するため実際に試してみました。 オブジェクトのバージョニングとは バージョニングとは、同じバケット内でオブジェクトの複数のバリアントを保持する手段です。バージョニングを使用して、Amazon S3 バケットに格納されたあらゆるオブジェクトのあらゆるバージョンを、格納、取得、復元することができます。バージョニングを使用すれば、意図しないユーザーアクションからもアプリケーション障害からも、簡単に復旧できます。 こちらより引用 メリットとしては、間違って削除してしまった…アプリケーションがバグってて必要なファイルまで削除してしまった…間違って上書きしてしまった…という意図していない操作からオブジェクトを復旧することができます。 オブジェクト
5分でできるS3とCloudFrontを利用したセキュアな静的Webサイトの作り方 | DevelopersIO
5分強で設置できるセキュアなCloudFrontとS3の静的ウェブサイトの設定内容について紹介します。 AWSチームのすずきです。 CloudFrontとS3の静的ウェブサイトを採用する利点について、諏訪より紹介させて頂きました。 今回、実際の設置に利用しているCloudFormationテンプレートの紹介と、 主に非機能要件のため実施している設定内容について、紹介させていただきます。 設定 S3(静的コンテンツ) 静的ウェブサイト(WebsiteConfiguration)を有効としたS3バケットです。 S3Bucket: Type: AWS::S3::Bucket DeletionPolicy: Retain Properties: BucketName: !Sub '${AWS::StackName}' LifecycleConfiguration: Rules: - Id: Non
AWS DataSync エージェントを EC2 インスタンスにデプロイしてパブリックと VPC Endpoint それぞれでアクティブ化してみた | DevelopersIO
コンバンハ、千葉（幸）です。 AWS DataSync は、各種ストレージサービス間でのデータ転送をシンプルかつ高速に実現してくれるサービスです。 S3 や EFS などの AWS 上のサービスや、オンプレで稼働している NFS 、 SMB ストレージ などをロケーションとして定義し、それらを送信先/宛先として組み合わせることで、データ転送が実現できます。 各ロケーションには AWS DataSync エージェント が接続し、データ転送を中継します。エージェントは AWS 上、オンプレ上どちらでも構成することが可能です。 今回は AWS 上の EC2 インスタンスで稼働させる方式でセットアップし、アクティブ化が成功するところまでを試してみます。 目次 AWS DataSync コンポーネントのおさらい エージェント ロケーション タスク やってみた EC2 インスタンスの作成 作成した E
HopsFS file system: 100X Times Faster than AWS S3 - Hopsworks
Many developers believe S3 is the "end of file system history". It is impossible to build a file/object storage system on AWS that can compete with S3 on cost. But what if you could build on top of S3 a distributed file system with a HDFS API that gives you POSIX goodness and improved performance? That’s what we have done with a cloud-native release of HopsFS that is highly available across availa
EBSボリュームの作成 管理コンソールの「ELASTIC BLOCK STORE > ボリューム」から「ボリュームの作成」をクリックします。 作成したいボリュームタイプやサイズを指定します。 ここでポイントがアベイラビリティゾーンです。今回アタッチしたいインスタンと同じアベイラビリティゾーンを指定します。 「ボリュームの作成」をクリックします。 作成したボリュームがavailableになれば作成完了です。 EBSボリュームのアタッチ 先ほど作成したボリュームを指定し、「アクション > ボリュームのアタッチ」をクリックします。 ボリュームのアタッチで対象インスタンスを指定し「アタッチ」します。 ステータスがin-useになったらアタッチ完了です。 コマンドで確認すると先ほどアタッチしたxvdfという名前のデバイスが追加されているのが確認できます。
相互 TLS 認証で API Gateway のバックエンドの S3 にアクセスできるかやってみた | DevelopersIO
こんにちは、アノテーション テクニカルサポートチームの中野です。 API Gateway のバックエンドに S3 を設定するパターンと API Gateway の通信で相互 TLS 認証（mTLS）を行うパターンの組み合わせを試す機会があったので、以下に手順をまとめてみました。 構成 以下のような構成で構築してみます。 また、mTLS の詳しい仕組みについては、以下がわかりやすかったので参照ください。 やってみた 前提条件 構築するまえに、前提として API Gateway のカスタムドメインを作成するために、以下を準備しておきます。 Route53 へのドメインの登録 ACM で証明書発行 準備が完了したら、以下手順を進めてきます。 ステップ 1: S3 に静的ファイルをアップロード まず、S3 を作成します。 何らかの適当な文字を描画する HTML ファイルをアップロードしておきます。
GitHub - bluesentry/bucket-antivirus-function: Serverless antivirus for cloud storage.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる | フューチャー技術ブログ
GCP連載#7 GCPのData Transfer Serviceを使って簡単にS3からBigQueryにデータ転送をしてみる GCP集中連載の7回目です。 TIGのDXチームに所属している加部です。入社してからは主にインフラやデータベースを中心に仕事をしており、現在はGOでバックエンドのAPIの開発なんかもしています。 突然ですがAWSを利用しているけどビッグデータの蓄積や解析はBigQueryで実施したい、なんて意見も最近多くなってきているようですね。実際にS3からBigQueryのデータ転送について検索すると、自前でデータ転送を作成してみましたや、データ転送をサービスとして販売しているような会社もあります。そんな中GCPが提供しているBigQeryへのデータ転送サービスDataTransferServiceのソース元としてS3が追加され、簡単にS3からBigQueryのデータ転送のジ
S3の特定のバケットおよびキーのファイルの更新のみ可能なIAMユーザー（コンソールアクセスのみ）を作成してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 今回は、S3の特定のバケットおよびキー（プレフィックスおよびファイル名）のファイルの更新のみ可能なIAMユーザー（コンソールアクセスのみ）を作成してみました。 概要 本記事では次の手順を紹介します。 管理者による操作 IAMユーザーの作成 ユーザーによる操作 AWSコンソールからサインインしてS3にアクセスし、特定のバケット、プレフィックス（フォルダ）にある特定のファイルの更新を行う 管理者による操作 IAMユーザーの作成 my-bucketというS3バケット内のfolder1というフォルダ配下のdata.csvという名前のファイルの更新のみ可能なIAMユーザーを作成します。 まず、IAMユーザーにアタッチするポリシーをを定義したファイルを作成します。 % touch policy.json { "Version": "2012-10-17", "St
Amazon DynamoDB can now import Amazon S3 data into a new table | Amazon Web Services
AWS Database Blog Amazon DynamoDB can now import Amazon S3 data into a new table Today we’re launching new functionality that makes it easier for you to import data from Amazon Simple Storage Service (Amazon S3) into new DynamoDB tables. This is a fully managed feature that doesn’t require writing code or managing infrastructure. In this post, we introduce DynamoDB import from S3 and show you how
##EC2インスタンスを停止中にしたら料金が発生していた 停止中のEC2インスタンスに関連づけられているElasticIPは、 課金対象だと知りませんでした。 失敗談として 自身のメールを通知を確認した時にこんなものが送られてきました。 Amazon Web Services Billing Statement Available (利用可能なアマゾンウェブサービスの請求書) ん？？無料で使用しているはずなのに請求書？？？？（笑） AWSの「請求」を確認すると どうやら、ガッツリElasticIPで料金が発生している様子です。。。（笑） こちらについて公式サイトで調べてみます。 Elastic IP の料金を理解する - Amazon Web Services 次の条件が満たされている限り、Elastic IP アドレスに料金は発生しません。 Elastic IP アドレスが EC2 イン
aws s3 cp ~/directory s3://backet-name/ --exclude "*.txt" --recursive
ストレージクラス - Amazon S3 ｜AWS
Amazon S3 は、ワークロードのパフォーマンス、データアクセス、回復力、およびコスト要件に基づいて選択できるさまざまなストレージクラスを提供しています。S3 ストレージクラスは、さまざまなアクセスパターンに最低コストのストレージを提供できるように設計されています。S3 ストレージクラスは、要求の厳しいパフォーマンスニーズ、データレイク、常駐要件、不明または変更されたアクセスパターン、アーカイブストレージなど、事実上すべてのユースケースに最適です。 S3 のストレージクラスには、アクセスパターンが不明または変化するデータに対して自動的にコストを削減する S3 Intelligent-Tiering、アクセス頻度の高いデータ向けの S3 Standard、最もアクセス頻度の高いデータ向けの S3 Express One Zone、アクセス頻度の低いデータ向けの S3 Standard-I
Savings Plans のご紹介
AWS は本日、1～3 年期間で一貫したコンピューティング使用量 (例: 10 USD/時間) を確約するかわりに、お客様が Amazon EC2 および AWS Fargate で最大 72% 節約することを可能にする新しい柔軟な料金モデル、Savings Plans を発表しました。この Savings Plan の使用により、確約量までの使用は割引された Savings Plan レートで課金され、確約量を超える使用については、通常のオンデマンドレートで課金されます。リザーブドインスタンスと同様に、この Savings Plan はオンデマンドと比較して大幅な節約を実現しますが、使用量が変化しても、任意の AWS リージョン全体でのコンピューティング使用量に対するお客様への請求額を自動的に削減します。これはすべて、交換や変更を行う必要なく、ニーズに最適なコンピューティングオプションを
はじめに 本記事の対象となる読者 特定のトリガーでLambdaを起動して、EC2内のシェルスクリプトを実行したい システム概要 上記のやりたかったことを実現するために使用したサービスは以下です。 AWS Lambda(以後Lambda) AWS System Manager(以後SSM) AWS Elastic Computer Cloud(以後EC2) 書かないこと EC2インスタンスの構築方法 Amazon Linux2を使用して、無料利用枠でインスタンスを用意します。 EC2インスタンスを作成 EC2インスタンスを作成する前に以下のポリシーをアタッチしたIAMロールを作成しておきます。仮に名前はAWSServiceSSMRoleとしておきます。 AmazonEC2RoleforSSM AmazonSSMFullAccess 上記で作成したロールをインスタンスに割り当てインスタンスを作
「C7g」AWS Graviton 3を搭載した新しいEC2インスタンスがリリースされました | DevelopersIO
AWSが開発する最新ArmプロセッサーのGraviton3を搭載したインスタンス「C7g」が利用可能になりました。 2022年5月24日、re:Invent2021で発表された「Graviton3」AWSが開発する最新のArmプロセッサーを搭載した「C7g」インスタンスが利用可能になりました。 その起動を試みる機会がありましたので、紹介させていただきます。 New – Amazon EC2 C7g Instances, Powered by AWS Graviton3 Processors AWS Graviton3 プロセッサを搭載した新しい Amazon EC2 C7g インスタンスを発表 EC2 オレゴン(us-west-2)リージョンで、AmazonLinux2 のAMIを利用してEC2インスタンスを起動しました。 Instance type: c7g.large AMI name
みなさん Macie 使ってますか？ え。読み方知ってますよね・・（震え声 Amazon Macie は S3 のオブジェクトを機械学習によって機密データの検出、クラス分類、不正アクセスの危険性があるものをアラートで配信してくれる非常に便利なサービスです。 冒頭、「使ってますか？」と聞いたものの、残念ながら東京リージョンにはまだ来ておらず、利用できるのはバージニアとオレゴンのみです。早く東京リージョンに来て欲しいサービスの 1 つですね。 今回、Macie を使うなかでアラートの誤検知に遭遇する機会がありましたので、その際に行った対処等についていご紹介したいと思います。 Macie について 「Amazon Macie って何だっけ？」という方は、是非、以下の記事をあわせてお読みください。ちょっと古い記事にはなりますが、それほどアップデートも多くないので概要を把握するには十分な記事となって
AWS、Apple M2 Pro搭載Mac miniもラックに組み込み 「Amazon EC2 M2 Pro Mac instances」提供開始
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、Apple M2 Pro搭載のMac miniを組み込んだ「Amazon EC2 M2 Pro Mac instances」提供開始」（2023年10月3日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は、Apple M2 Proプロセッサを搭載したMac miniをインスタンスとして利用できる新サービス「Amazon EC2 M2 Pro Macインスタンス」の提供開始を発表しました。 利用可能なインスタンスの仕様は、12コアCPU、19コアGPU、32GiBメモリ、16コアApple Neural Engineとなっています。 AWSは2022年にApple M1チップを搭載したMac miniによる「Amazon EC2 M1 Macイ
[Update] AWS DataSyncによるストレージサービス間のデータ転送にエージェントが不要となりました! | DevelopersIO
こんにちは。サービスグループの武田です。 AWS DataSyncというサービスをご存じでしょうか？オンプレミスのストレージ、Amazon S3、Amazon EFS、Amazon FSx for Windows File Serverとの間でデータ転送をするためのサービスです。これまではデータ転送に、仲介するDataSyncエージェントが必須でした。今回のアップデートで、ストレージサービス間であればエージェントが不要になりました！素敵！ ドキュメントに比較できるわかりやすい図がありましたので引用します。 日本語のドキュメントから。アップデート前はS3-EFS間でもエージェントが必要でした。 引用元：How AWS DataSync Works（日本語） こちらは英語のドキュメントから。アップデート後はストレージサービス間ではエージェントが不要に。 引用元：How AWS DataSync
CloudFormationで最新のAmazon Linux 2のAMI IDを取得してEC2を構築する | DevelopersIO
CloudFormationでEC2を構築するとき、AMI IDをどうやって保持するのか悩ましいです。 パラメータとして保持する？そうすると、リージョン毎にAMI IDは異なるので特定のリージョンでしか使えないCloudFormationテンプレートになってしまう。 Mappingsとして保持する？そうすると全リージョンの最新のAMI IDを記載するのがとてもめんどくさい。 そんなことを悩んでいたら、公開パラメータストアから最新のAMI IDを取得する方法を知ったのでやり方をご紹介いたします。 最新のECS-optimized AMI IDをParameter Storeから取得できるようになりました（Amazon Linuxもあるよ） ｜ DevelopersIO AWS Systems Manager Parameter Store を使用して最新の Amazon Linux AMI
Scrapyでクロールし、S3へアップロードしたhtmlファイルを本文抽出して、Elasticsearchのインデックスへ保存したい。
質問をすることでしか得られない、回答やアドバイスがある。15分調べてもわからないことは、質問しよう！新規登録して質問してみよう
Using new vCPU-based On-Demand Instance limits with Amazon EC2 | Amazon Web Services
AWS Compute Blog Using new vCPU-based On-Demand Instance limits with Amazon EC2 This post is contributed by Saloni Sonpal, Senior Product Manager, Amazon EC2 As an Amazon EC2 customer running On-Demand Instances, you can increase or decrease your compute capacity depending on your application’s needs, and only pay for what you use. EC2 implements instance limits, which give you a highly elastic ex
起動済み EC2 インスタンスのパブリックIPv4アドレスを削除する方法を教えてください | DevelopersIO
[2024.04.30 更新] EC2 のコンソールから、バプリックIPv4アドレスを削除できる機能が新たに実装されました。詳細は下記の記事をご参考ください。 [アップデート]EC2インスタンスに自動割り当てされたパブリック IPv4 アドレスの動的削除と追加が可能になりました 困っていた内容 2024年2月からパブリックIPv4アドレスが有償化されることに伴い、すでに稼働している EC2 インスタンスのパブリックIPv4アドレスを削除して、プライベートサブネットに移行することを考えています。実現する方法を教えてください。 どう対応すればいいの？ すでに起動済みの EC2 インスタンスからパブリックIPv4アドレスを削除したい場合、以下の手順で実現できます。 対象 EC2 インスタンスに追加のネットワークインターフェイス（ENI）をアタッチする 対象 EC2 インスタンスのプライマリ EN
ローカルの NVMe ベースの SSD ストレージを備えた AWS Graviton2 に基づく新しい Amazon EC2 インスタンス | Amazon Web Services
Amazon Web Services ブログ ローカルの NVMe ベースの SSD ストレージを備えた AWS Graviton2 に基づく新しい Amazon EC2 インスタンス 数週間前、私は、新しい AWS Graviton2 Amazon Elastic Compute Cloud (EC2) インスタンスタイプである M6g の発表に関する投稿を書きました。それ以来、数百のお客様にコストパフォーマンスの大幅な向上を実感していただいています。これらのお客様の中には Honeycomb.io、SmugMug、Redbox、Valnet Inc. が含まれています。 2021 年 6 月 11 日に、AWS Graviton2 プロセッサに基づく 2 つの新しいインスタンスファミリーを発表しました。すなわち、C6g と R6g が既存の M6g に追加されました。M ファミリーの
本記事はNRIネットコム Advent Calendar 2021 14日目の記事です。 🧦 13日目 ▶▶ 本記事 ▶▶ 15日目 🎁 初めまして、NRIネットコム新入社員の西本です。 今回、アドベントカレンダー14日目の記事を書かせていただきました。AWS APN Ambassadorでもある上野さんの後というのは荷が重いですね（笑）私は、今年4月に新卒入社し、研修を経て7月からクラウドに関するお仕事をさせていただいています。入社当時はクラウドとは？AWSって何？っていうところからのスタートでした。入社してまだ間もないですが、業務で扱った一部を紹介したいと思います。 今回のテーマについて 本題ですが、上述したようにAWSのお話です。テーマは、「AWS Key Management ServiceのキーポリシーによるAmazon S3 オブジェクトのアクセス制限」についてです（以降、
はじめに minioはs3互換のオブジェクトストレージサーバです。 GitHub - minio/minio: MinIO is an open source object storage server compatible with Amazon S3 APIs 開発環境等でs3の代替として導入されている現場もあるのではないでしょうか。 localstackを使うパターンもあるかと思いますが、シンプルにs3の機能が欲しいだけの時はminioのほうが軽くて必要十分な場合が多いかなと思います。 今回はdocker-composeで起動する開発環境にminioを組み込もうとした際に少し悩んだことがあったので、自分なりの対処方法を書いてみます。 課題 Dockerネットワーク内で取得した署名付きURLに、Dockerネットワーク外から接続できない。 環境の説明 こんな感じで署名付きURLを利用す
Terraformで行うAmazon CloudWatch LogsからS3へのログ転送 - Adwaysエンジニアブログ
2ヶ月ぶりでお久しぶりでもないです インフラの戸田です。 最近はモンスターハンターワールド：アイスボーンをずっとやっております。 いろんなモンスターが増えて楽しいですね～～ モンハンしかしていない生活になってしまいました。 では、本題にいきます。 CloudWatch Logsに保存されているログをS3に移動させて、料金を削減したいという声がありました。 移動させるためには、いくつか手段がありますが、今回はKinesis Data Firehose を使い、ログ転送をする方法をTerraformでコード化しつつ、実現することになりました。 経緯 料金について CloudWatch LogsからS3にログを置く方法 Terraform 今回Terraformでやること Terraformで作るもの ファイル構成 workspaceの機能について Teffaromファイル群 実行手順 今回te
(小ネタ)オンプレ環境のノリでEC2(Linux)を構築する時に疑問に思ったTips | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 前職ではデータセンターの物理サーバやVMware等の仮想マシン構築を、OSインストールからシコシコ対応してました。 一方でAWS上にEC2でサーバを構築した時に、これってどうなんだろと思ったことを、実際にお客様から質問されたことがありました。 今回はそんなちょっとしたTipsをまとめていこうと思います。 OSインストールから実施する必要があるの？ EC2を新規構築する際は。AMIと呼ばれるOSやソフトウェアがプリインストールされたテンプレートから作成します。 AMIはCentOSやAmazonLinux2はもちろん、Windows Server等のさまざまなものが提供されています。 そのためEC2作成後、すぐにご利用いただくことが可能です。 OSのファイヤウォールはどうすればいいのか？ iptablesやfirewal
CloudFrontにキャッシュしたS3上のWordPress記事に独自ドメインでアクセスする - Qiita
はじめに 最終的には以下のような構成を目指して構築します。 構築作業の覚書としてQiita記事を作成しておきます。 また、この記事ではRoute53経由で、CloudFrontでキャッシュしたS3上の記事にアクセスする方法を記載します。 前段のEC2とS3の部分は以下の記事で。 WordPressで作成した記事をS3に連携しエンドポイントでホスティングする 本アーキテクチャのメリット ColoudFront CDNを咬ますことで負荷に強くなったりレンダリング速度が上がる S3、Route53との連携が簡単 サーバー容量も気にしなくて良い（訳ではないが、EC2に直接配置するよりはまし） WordPressが稼働できればいいのでインスタンスタイプも小さくてよくなる Route53は可用性100% 構築手順 前提 ドメインをお名前.com等で取得していることが前提になっています。 後述のRout
ポピュラーであるがゆえに、セキュリティリスクが高い ご存じの通り、WordPressは世界で最も利用されているCMSです。 有名であるがゆえのデメリットがあります。攻撃対象になりやすいことです。攻撃者の視点から考えると、一つの脆弱性を見つけることができれば、より多くのサイトを攻撃することができます。 サイト運営者は、脆弱性対策をするために定期的なバージョンアップをする必要があります。実際に運用してみるとわかりますが、バージョンアップには多くの工数がかかります。時には動かなくなり、改修が必要になることもあります。 動的にページ表示させるため、表示が遅い（ある程度のサーバースペックが必要） WordPressは、記事の追加や修正、デザインの変更をすると、即時反映されます。毎回、phpを動作させて、動的にページ表示させることで実現しています。 利便性が上がる半面、表示速度が遅くなるというデメリッ
The last S3 security document that we’ll ever need, and how to use it - TrustOnCloud
The last S3 security document that we’ll ever need, and how to use it Update: We have launched ControlCatalog, a friendly UI for our in-depth ThreatModels. Check it out: ControlCatalog We have released the ThreatModel for Amazon S3, free and open source. You can download it via GitHub. The Shared Responsibility Model is an easy-to-understand diagram by Cloud Providers. The reality is that: 1) The
基本構成は下記の通り Route53 + ALB + Cloud Watch logs + S3 + RDS + EC2(nginx + php-fpm + Laravel) 実行環境構築 awsのconfig設定 > aws configure --profile dev-user AWS Access Key ID [None]: XXXXXXXXXXXXXXXX AWS Secret Access Key [None]: XXXXXXXXXXXXXXXX Default region name [None]: ap-northeast-1 Default output format [None]: json cat ~/.aws/config # aws-cliを使う際はuserを設定 export AWS_DEFAULT_PROFILE=dev-user terraform { r
AWS CloudWatch Logs のログデータを S3 に配信する（Kinesis Data Firehose）
公開日 2021.1.16更新日 2021.1.19カテゴリ：AWSタグ：AWS,S3,CloudWatchLogs,KinesisDataFirehose,terraform
こんにちは、シマです。 皆さんはS3を使っていますか？S3は他のストレージサービスと比較して可用性が高く安価で利用することができるため、よく使うサービスだと思います。しかし、安価でも大量に利用するときは当然コストが大きくなるため、コストを意識する必要があります。 今回は、一般的な利用で発生するコストと留意すべき点を改めてまとめました。 描いてみた S3の料金の詳細についてはAWS公式の以下ページに記載があります。 上記を基に、ザックリとした絵を描いてまとめてみました。 ※マルチリージョンアクセスポイントやTransfer Accelerationのような機能の利用に応じて発生するコストは含んでいません。 上図の黄色枠が発生するコストを示しています。ストレージクラスの差は考慮から除外していて、利用するストレージクラスによりコストが発生しない場合もあります。ストレージクラスの比較については以下
大阪オフィスのYuiです。 ALBのアクセスログをS3に保存するということを初めてやってみたので手順をメモ＆せっかくなのでログの中身を読んでみたいと思います(｀・ω・´) やってみた ログを保存したいALBを選択し、説明タブの一番下の「属性の編集」をクリックする 「ロードバランサーの属性の編集」というウィンドウが表示されるので、「アクセスログの有効化」にチェックを入れる 「S3の場所」に作成したいS3のバケット名を入力し、「この場所の作成」にチェックを入れる 「保存」をクリックして作業完了！ S3からログを確認する ALBのアクセスログのディレクトリは以下のようになっています。 [バケット名]/AWSLogs/[AWSアカウントID]/elasticloadbalancing/region/yyyy/mm/dd/aws-account-id_elasticloadbalancing_reg
【新機能】LOAD DATA文（Cross-cloud transfer）でS3のファイルをBigQueryテーブルへロードできるようになりました | DevelopersIO
データアナリティクス事業本部、池田です。 昨日、BigQueryの LOAD DATA 文（Cross-cloud transfer）が GA となりました。 【 BigQuery release notes > November 09, 2022 】 【 Cross-cloud transfer from Amazon S3 】 ※執筆時点では日本語のガイドは未更新 もともと BigQuery Omni の 外部テーブル でAmazon S3など別クラウドのストレージを参照することはできました。 ↓この辺は以前ブログにしています。 S3からBigQueryへ連携する方法いろいろ（Omni/Transfer Service） ※現在はストレージへのアクセスなどは BigLake の機能として整備されました。 ただし、S3の場合、その外部テーブルは aws-us-east-1 という特別なリ
Amazon EC2 リソース最適化推奨のご紹介
本日より、AWS Cost Explorer で、カスタム生成した Amazon EC2 リソース最適化推奨をご利用いただけるようになりました。この推奨事項では、アカウントやリージョンでアイドル状態のインスタンスや使用されていないインスタンスを特定します。この推奨事項を生成するために、AWS では過去の EC2 リソースの使用状況、Amazon CloudWatch メトリクス、過去の予約履歴を分析してコストを削減できる可能性 (例えば、アイドル状態のインスタンスを削除する、アクティブなインスタンスを縮小するといった、より低いコストを実現する選択肢) があるか判断します。例えば、過去 14 日間の m5.2xlarge インスタンスの使用率が最大 20% であった場合、インスタンスのサイズを m5.xlarge か m5.large に縮小し、これまでの使用率に照らした削減コストおよび最適
S3バケットポリシーとIAMポリシーの関係を、同一アカウント・クロスアカウントそれぞれにおいて整理します。 はじめに S3バケットポリシーとIAMポリシーの関係 結論 検証準備 同一アカウント内アクセス クロスアカウントアクセス おわりに 参考 はじめに こんにちは、@bioerrorlogです。 S3に対するアクセス権限の制御方法としては、アクセス元のIAMポリシーとアクセス先のバケットポリシーのふたつが挙げられます。 S3に対するアクセス権限の制御 IAMポリシーとバケットポリシーのどちらで制御すればよいのか、はたまた両方で制御する必要があるのか、油断してると忘れそうになります。 今回は、このIAMポリシーとバケットポリシーでの制御方法の関係性について、同一アカウント内の場合とクロスアカウントの場合でそれぞれ整理します。 S3バケットポリシーとIAMポリシーの関係 結論 まず簡潔に結論
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
バージョニングされたS3バケットのオブジェクトを削除してみる | DevelopersIO
EC2インスタンスに追加でEBSボリュームをアタッチする。 - Qiita
EC2インスタンス停止したまま放置したら料金が発生した話 - Qiita
AWS CLIでS3にフォルダごとアップロード/ダウンロードする方法 - Qiita
LambdaでEC2内のシェルスクリプトを実行 - Qiita
Amazon Macie で特定アラートが誤検知してしまう場合の対処 | DevelopersIO
AWS KMS CMKを用いたS3オブジェクトのアクセス制限 - NRIネットコムBlog
Dockerネットワーク内のminioで署名付きURLを使う時のTIPS
S3とCloudFrontで、WordPressを静的サイト配信事例｜ディーネット
TerraformでEC2を使ったweb環境をつくろう - Qiita
S3のコストについて改めて確認してみた | DevelopersIO
ALBのアクセスログをS3に保存して中身を読み解いてみる | DevelopersIO
S3バケットポリシーとIAMポリシーの関係を整理する - BioErrorLog Tech Blog