AWSのストレージサービスについて - Qiita
きっかけ AWSのストレージサービスといえばS3の印象が強かったですが資格勉強を進めていくうちに他にも様々なストレージサービスがあることを知りました。 Amazon E〇Sのような名称のものが多くごっちゃになってしまうことがあるので今回はそれを整理するために作成しました。 目次 以下について(特にS3,EBS)まとめています。 ・Amazon S3：Simple Storage Service ・Amazon EBS：Elastic Block Store ・Amazon EFS：Elastic File System ・Amazon FSx for Windows File Server ・AWS Backup 詳細 Amazon S3(以下「S3」と表記) 完全マネージド型のオブジェクトストレージ 特徴 ・ストレージ容量が無制限であり、残りの容量の確保や調達を気にする必要がありません。
【AWS】用語を整理しながら学ぶAWS Amazon Athena - Qiita
はじめに この記事では AWSが提供するAmazon Athena(以下、Athena)を学習していく記事です。主な内容としては実践したときのメモを中心に書きます。（忘れやすいことなど） 誤りなどがあれば書き直していく予定です。 Athenaとは何なのか 簡単に1行で表現すると AthenaはSQL を使用した S3 でのデータクエリと表現されています。 公式では以下のように説明されています。 Amazon Athena は、オープンソースフレームワーク上に構築されたサーバーレスのインタラクティブな分析サービスで、オープンテーブルとファイル形式をサポートしています。Athena は、ペタバイト規模のデータが存在する場所で分析するための簡素化された柔軟な方法を提供します。Amazon Simple Storage Service (S3) データレイクと 25 以上のデータソース (オンプレ
AWSのコスト削減 EBSのボリュームタイプを見直してコスト最適化を実現する - Qiita
はじめに 本記事はAWSのコスト削減の一環として、EBSのボリュームタイプについて記載しています。 EBSのボリュームタイプを見直すことで、20%1のコスト削減が実現できます。 数字だけ見ると低いように感じるかもしれませんが、年間で見た場合は、何十万円以上に相当するコストを削減できる場合もあります。 真新しい話ではありませんが、そもそも情報を知らない人もたくさんいると思うため、AWSのコスト削減を考えている方のご参考になれば幸いです。 EBSのボリュームタイプを見直す理由 EBSのボリュームタイプを見直す理由は以下の通りです。 既存のgp2ボリュームよりもGBあたり最大20%のコストを節約 任意のボリュームサイズで3,000IOPSおよび125MB/秒のベースラインパフォーマンスを提供 従って理由がない限りgp2のボリュームタイプを使い続ける理由はありません。 今すぐに変更することができな
S3へのファイル転送を高速化する手順 - skymatix Developers Blog
システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定は下記の２つです。 項目名 説明 max_concurrent_requests 同時に実行できるリクエストの最大数を制御。この設定により、バケットへの同時アクセスを制御することができる。デフォルト:10 max_queue_size タスクキュー内の最大タスク数を制御。タスクが多くなると速度も速くなるが、比例して多くのメモリが必要になる。デフォルト:1000 設定変更のコマンド 設定を変更する際は下記のコマンドを実行します。 aws configure set default.s3.m
【基礎】AWS Workdocsとは！？クラウドストレージの料金比較 - Qiita
こんにちは。今回は、awsについて初心者エンジニアに向けて、aws workdocsについて解説します。 aws workdocksとは？ aws workdocsは、awsが提供するファイルストレージサービスです。これは、企業がデジタルワークスペースを構築し、一元管理するのに役立ちます。 ワークスペース aws workdocsは、クラウドベースのワークスペースサービスを提供しており、企業はワークスペースを維持することができます。これにより、企業はファイルをインターネット経由で共有できるようになり、従業員はどこからでも簡単にアクセスできます。 セキュリティ aws workdocsは、高度なセキュリティ機能で保護されています。また、awsユーザーはaws key management service（kms）を使用して、自分のファイルを暗号化できます。これにより、ファイルが不正にアクセス
【AWS】Amazon S3 を徹底的にまとめてみた！ - Qiita
はじめに AWSのクラウドストレージであるAmazon S3は、AWS上にファイルを保存する際に第一の選択肢となるサービスです。その普及度の高さから進化も早く、最新機能も含めた全体像の理解は労力が掛かります。 そこで備忘録も兼ねて、2023年4月時点での機能および使用法を、初学者でも理解しやすいことを心掛けてまとめました。 網羅度にこだわってまとめたので、「S3の全体像を理解したい！」という方は、ぜひご一読頂ければと思います。 また、S3のセキュリティとバックアップ機能は別記事にまとめたので、よければこちらもご参照ください。 Amazon S3とは 「Amazon Simple Storage Service」の略です。後ろの3つの単語の頭文字が全てSなので、S3と略しているようです。 S3は端的に言うとクラウド上にファイルを保存するためのサービスで、Googleドライブのようなオンライン
私がやった Amazon S3 コストカット全ステップ | CyberAgent Developers Blog
本記事は CyberAgent Advent Calendar 2022 23日目の記事です。 「節約は固定費から。」 こんにちは、しゅん（@MxShun）です。 今年11月に中途入社、AI事業本部オペレーションテクノロジーに仲間入りしました。 今回は、年間にして 1,200 万円削減 した Amazon S3 のコストカット全ステップ を紹介します。 目次 オペレーションテクノロジー AWSコストの見直し S3コスト対象 S3コスト分析 1. ストレージ容量の削減 2. ストレージクラスの見直し まとめ オペレーションテクノロジー 私がジョインしたオペレーションテクノロジーは、 サイバーエージェント 連結売上高の53%（2022年通期決算時点）を占めるインターネット広告事業売上を最大化する システム開発 大規模インターネット広告運用を可能にする 社内システム開発 の役割を担っています。
Amazon S3の脆弱な利用によるセキュリティリスクと対策 - Flatt Security Blog
はじめに こんにちは、株式会社Flatt Security セキュリティエンジニアの森岡(@scgajge12)です。 本稿では、Amazon S3 の脆弱な使い方によるセキュリティリスクと対策を解説し、実際の設定不備などに関する事例についても紹介します。 Flatt Security は専門家の視点でセキュリティリスクを調査するセキュリティ診断を提供しています。クラウドとアプリケーションの総合的な診断の事例として SmartHR 様の診断事例がございますので、是非インタビュー記事をご覧ください。GCP の事例ですが、もちろん今回取り上げる AWS でも同様の診断が可能です。 はじめに Amazon S3 とは バケット・オブジェクト バケット オブジェクト アクセスポリシー バケットポリシー アクセスコントロールリスト(ACL) IAM ポリシー 署名付き URL Amazon S3 に
よく使いそうなS3関連のセキュリティ機能をまとめてみる | DevelopersIO
よく使いそうな S3関連のセキュリティ機能を主観でまとめてみます。 「汎用的」、「便利」、「コスパが良い」といった基準で選びました。 6つのセキュリティ機能を説明していきます。 ブロックパブリックアクセス ACL無効化 デフォルト暗号化 S3 Storage Lens GuardDutyの「S3保護」 Security Hubの「セキュリティ基準」 ブロックパブリックアクセス(以降 BPA) 「意図しないS3バケットの公開」を未然に防ぐ ための機能です。 アカウントレベル、もしくはバケットレベルで設定できます。 設定パラメータは 4つあります。 BlockPublicAcls … パブリックACLを付けた投稿(Put Object)ができなくなります IgnorePublicAcls … すべてのパブリックACLを無視します BlockPublicPolicy … パブリックなバケットポリ
S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
[AWS] S3へ巨大なファイルを「マルチパートアップロード」する - ねこの足跡R
AWS S3へ巨大なファイルをアップロードする際、より高速に転送するには「マルチパートアップロード」を利用することが推奨されています。また一定サイズ以上のファイルはSDKやREST APIからはそもそもPUTすることができません。 マルチパートアップロードというと一見難しそうに聞こえるかもしれませんが理屈も使い方も非常にシンプル。対応したGUIのアプリを使えば裏側で自動的に行なってくれるためそもそも意識する必要すらありません。 今回はAWS CLIとWindowsやmacOS上のGUIのクライアントを利用した方法を取り上げます。 マルチパートアップロードとは S3のそもそもの話 オブジェクトのサイズ上限 マルチパートアップロードの上限値 料金の罠 不完全なデータを確認＆削除 ライフサイクルを設定する アップロード方法 AWS CLI アプリ Cyberduck S3 Browser Win
![[AWS] S3へ巨大なファイルを「マルチパートアップロード」する - ねこの足跡R](https://cdn-ak-scissors.b.st-hatena.com/image/square/a6e8e6977ab0c38fc6dd0404d058c44fcf59728c/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkatsube%2F20231125%2F20231125062918.png)
EC2(Windows) Cドライブのサイジングと拡張 | Oji-Cloud
概要 はじめに 今回は、EC2 のディスク拡張についてご紹介します。対象のサーバーOSは、Windows Server 2012 R2 となります（2016以降も手順は同じです）。 マイクロソフトのドキュメントを例に、IaaSの設計時に悩ましいCドライブの容量をサイジングする方法についてもご紹介します。 EC2(Windows)のディスクサイズあるある オンプレの場合、物理的なサーバーのラインナップからディスク容量を選択します。しかし、クラウドの場合は、ユーザーが仮想サーバーを起動する際にディスク容量を指定します。Linuxと同じつもりで、Windows Server のディスク容量を指定すると後からCドライブのディスクサイズが足りない！という経験も少なくないと思います。 その理由の一つに、Windows Server は定期的にWindows Updateが求められるため、その度にCドラ
【初心者必見】Amazon S3のアクセス制御｜伊藤忠テクノソリューションズ
【初心者必見】Amazon S3のアクセス制御 投稿日: 2021/03/30 こんにちは、高橋です。 Amazon S3はデータの保管に非常に便利なサービスです。しかしながら、S3内部のオブジェクトに関しては同じアカウント内のIAMユーザは勿論、他のAWSアカウントのユーザ、 さらにはオブジェクトを公開した場合、外部からでもアクセスできてしまいます。 そのため、S3にはバケット/オブジェクトへのアクセスを制御するためのアクセスコントロールの方法が3種類用意されています。 今回はS3のアクセス制御の方法とお客様からよく問い合わせを受けるアクセス制御の実際の設定例についてご紹介します。 Amazon S3のアクセス制御 Amazon S3のアクセス制御の方法は下記の3種類の方法があります。 1. IAMポリシー 通常のAWSサービスへのアクセス制御と同様にポリシードキュメントにてIAMユーザ
S3上のオブジェクトをフォルダごとダウンロードする方法 [GUI/CUI編] | DevelopersIO
こんにちは。 S3のマネジメントコンソールからオブジェクトをフォルダ単位でダウンロードできないのは、不便だなーと感じるポイントだと思います。こちらは、現時点(2021/2/27)の仕様であり仕方ないのですが、3rd Party製のアプリケーションやAWS CLIでは実現可能です。今回は、GUI(3rd Party製アプリケーション)とCUI(AWS CLI)、それぞれの方法を試してみたいと思います。 GUI S3上のファイルをGUIから操作する方法として、Windowsをお使いの会社ではほとんどが「WinSCP」をお使いではないでしょうか。こちらに関する記事はインターネット上に多く存在するため、今回はチームの先輩に教えてもらった「Cyberduck」を使ってみたいと思います。
RDS for Oracle と S3 でファイルをやり取りする - Qiita
$ aws iam create-policy \ > --policy-name s3-integration-policy \ > --policy-document '{ > "Version": "2012-10-17", > "Statement": [ > { > "Sid": "s3integration", > "Action": [ > "s3:GetObject", > "s3:ListBucket", > "s3:PutObject" > ], > "Effect": "Allow", > "Resource": [ > "arn:aws:s3:::orcl-test", > "arn:aws:s3:::orcl-test/*" > ] > } > ] > }' { "Policy": { "PolicyName": "s3-integration-policy",
Amazon RDS for OracleでS3と直接ファイルをやり取り可能になりました | DevelopersIO
RDS for OracleがS3と直接アップロード/ダウンロードできます。今までのように別のOracle Databaseサーバは不要になります。 大栗です。 今までRDS for Oracleは直接S3と連携できずにダンプファイルの受け渡しが不便でした。今回S3と直接連携できるようになったのでご紹介します。 Amazon RDS for Oracle Now Supports Amazon S3 Integration Amazon RDS for Oracleのデータインポート/エクスポート Oracle Databaseはデータのインポート/エクスポートにOracle Data Pumpを使用します。しかしOracle Data PumpはダンプファイルをDirectoryオブジェクトにローカルのファイルとして配置します。RDSの場合はOSにログインできずローカルファイルを触ること
Amazon S3 統合 - Amazon Relational Database Service
Amazon S3 と RDS for Oracle を統合する IAM アクセス許可の設定 RDS for Oracle が Amazon S3 と統合するには、DB インスタンスが Amazon S3 バケットにアクセスできる必要があります。DB インスタンスで使用される Amazon VPC は Amazon S3 エンドポイントへのアクセスを提供する必要はありません。 RDS for Oracle は、あるアカウントの DB インスタンスから別のアカウントの Amazon S3 バケットへのファイルのアップロードをサポートしています。追加のステップが必要な場合は、以下のセクションで説明します。 ステップ 1: Amazon RDS ロール用の IAM ポリシーを作成する このステップでは、Amazon S3 バケットからお客様の RDS DB インスタンスにファイルを転送するために
Amazon S3と同期させるためのツール7選｜WebFood
Amazon S3とお手元のWindowsやMac内のフォルダと簡単に同期できたら便利ですよね。そのためのツールが色々あって、比較検討してみたのでご紹介します。 DragonDisk DragonDiskは通常のファイル転送ソフトのような見た目ですが、S3と同期する上で、便利な機能があります。それは、Sync Jobsというものです。 同期元（お手元のパソコン）のフォルダーと同期先（S3ののバケット）を紐付けておき、したい時にクリック一つで同期させることができます。 WindowsもMacも対応していて、無料でここまでできるのは他にないです。 DragonDisk ちなみに、シリウスというWEBサイト作成ツールで生成したファイルをS3と同期する手順を次のページの「DragonDiskを使って同期させる」にまとめました。シリウスではなくても、設定の仕方は同じなので、参考にしてみてください。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
