オブジェクトストレージとは
オブジェクトストレージはデータを「オブジェクト」という単位で扱う記憶装置です。 ディレクトリ構造で管理するファイルストレージとは異なり、データサイズやデータ数の保存制限がないため、大容量データの保存に適しています。クラウド型のオブジェクトストレージであるAmazon S3の登場によってその存在が一躍認識されましたが、現在はプライベートクラウドなどでもオブジェクトストレージのニーズが増大しています。 オブジェクトストレージの登場背景と普及 これまでのストレージはサーバに付属したものという認識が一般的で、データ量の増大にあわせてサーバ主体で拡張すればいいという時代が続きました（DAS中心の第1のプラットフォーム時代）。しかし、爆発的に拡大するデータ量と、従来とは異なる種類のデータの増加が、ストレージに従来とは異なる機能を要求し始めました。以前は大きな割合を占めていたSQLデータベースなどの構造
さっくり解説するAmazon S3 - Qiita
はじめに 今回はS3編です。 あいかわらず用語が多いですが、なるべく分かりやすい解説をしてみようと思います。 Amazon S3とは 公式ドキュメントによると、 Amazon Simple Storage Service (Amazon S3) は、業界をリードするスケーラビリティ、データ可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。あらゆる規模や業種のお客様が、データレイク、クラウドネイティブアプリケーション、モバイルアプリケーションなど、事実上あらゆるユースケースで、あらゆる量のデータを保存、保護することができます。コストパフォーマンスに優れたストレージクラスと使いやすい管理機能により、コストの最適化、データの整理、特定のビジネス、組織、コンプライアンスの要件を満たすきめ細かなアクセスコントロールの設定を行うことができます。 Amazon S3
最新S3ストレージクラス比較表〜新サービス・S3 Glacier Instant Retrievalとは？〜
データ取得にかかる時間を短くしたいから、S3 Standard-IAにしないといけない。。？ アクセス頻度は稀だしコストが大きくかかってしまうから、やっぱりGlacierにした方がいい。。？ 両方叶えたいのに！ そんなお悩みを解決してくれます。 今までミリ秒単位でデータを取り出したいがために、泣く泣くS3 Standard-IAを使用していたワークロードでも、 S3 Glacier Instant Retrievalへの移行によって最大70％のコストカットが可能となります。 こんなワークロードにピッタリ まとめると、S3 Glacier Instant Retrieval は 長期保存が必要 アクセス頻度は稀である（1ヶ月に1回以下） 求められた場合には瞬時に取得する必要がある こんなワークロードにピッタリ！なストレージクラスでした。 ちなみにアクセス頻度がわからない場合は、S3 Inte
S3マルチパートアップロード ～Amazon S3パフォーマンス最適化してますか？～ - Qiita
突然ですが 皆さん。 S3へサイズの大きいオブジェクトをアップロードする時に、こんなイラっとしたことありませんか？ 長時間のアップロード中にネットワークエラーで処理失敗。また最初からかよ・・・ そのようなときには「マルチパートアップロード」を利用することで、中断したアップロードをリトライすることができます。 今回は、S3のパフォーマンスを最適化する機能「マルチパートアップロード」についてまとめてみました。 マルチパートアップロードとは 簡単にいうと サイズの大きいオブジェクトを分割して効率よくアップロードするS3機能のことです。 S3のユーザーガイドによるとオブジェクトサイズが100MB以上の場合に利用を推奨しています。 また、利用メリットは下記になります。 アップロード完了までの道のり 大まかに下記の流れでマルチパートアップロードできます。 １．オブジェクトを分割する ２．マルチパートア
【AWS グラレコ解説】高い可用性と耐久性のオブジェクトストレージ。Amazon S3 をグラレコで解説 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
※ 本連載では、様々な AWS サービスをグラフィックレコーディングで紹介する awsgeek.com を、日本語に翻訳し、図の解説をしていきます。awsgeek.com は ジェリー・ハーグローブが運営しているサイトです。 これまでのグラレコ解説はこちら » builders.flash 読者のみなさん、こんにちは ! テクニカルライターの米倉裕基と申します。 本記事では AWS のデータ管理サービスを代表するオブジェクトストレージ、Amazon S3 についてご紹介します。 Amazon S3 は、業界をリードするスケーラビリティ、データ可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。あらゆる規模や業種のお客様が、データレイク、クラウドネイティブアプリケーション、モバイルアプリケーションなど、事実上あらゆるユースケースで、あらゆる量のデータを保存
【S3】S3オブジェクトロックを設定してみた - サーバーワークスエンジニアブログ
こんにちは！クラウドインテグレーション部技術1課のイーゴリです。 本件の記事では、S3バケットのオブジェクトロックを設定してみましたので、ご紹介させて頂きます。 S3オブジェクトロックとは S3バケットのオブジェクトロックの設定 新規のS3バケットを作成する場合 既存のS3バケットでオブジェクトロックを有効にする場合 オブジェクトロックの設定 オブジェクトロックの対象 バケットのデフォルトオブジェクトロック オブジェクト単位のオブジェクトロック バケットのデフォルトの保持期間を設定する場合 バケット内のオブジェクト単位の保持期間を設定する場合 保持モード コンプライアンスモード ガバナンスモード 注意事項 S3オブジェクトロックとは 簡単に説明しますと、S3のオブジェクトロックとは、S3内にある対象のオブジェクトが絶対に削除されないようにするための保護機能となります。ロックする期間を設定す
AWS サービスのクロスリージョン VPC エンドポイントの設定
AWS PrivateLink リソースにアクセスできるようにするために、クロスリージョン Amazon Virtual Private Cloud (Amazon VPC) エンドポイントを設定したいと考えています。 解決策 クロスリージョン Amazon VPC インターフェイスエンドポイントがリソースにアクセスするように設定するには、以下の方法のいずれかを実行します。 Amazon VPC インターフェイスエンドポイントを使用して、別のリージョンで実行されているサービスにアクセスします。 Amazon Route 53 を使用して、ピアリングされている VPC のサービスエンドポイント DNS 名を解決します。 Amazon VPC インターフェイスエンドポイントを使用して、別のリージョンで実行されているサービスにアクセスする コンシューマー Amazon VPC から、プライベート
BigQuery Data Transfer Serviceを使ってAmazon S3のデータをBigQueryに取り込む方法 - G-gen Tech Blog
G-gen の大津です。今回は Google Cloud (旧称 GCP) の BigQuery Data Transfer Service を使って、東京リージョンの Amazon S3 にあるデータを BigQuery に取り込む方法をご紹介します。 はじめに BigQuery Data Transfer Service とは 料金 注意点 Storage Transfer Serviceとの違い 設定手順 AWSでの操作 S3バケットの作成 IAMユーザーの作成 Google Cloudでの操作 BigQueryデータセットとテーブルの作成 転送ジョブの作成 転送ジョブを手動実行 はじめに 前回の記事ではBigQuery Omniを使ってAmazon S3のデータに対してBigQueryからクエリを実行する方法をご紹介しました。 blog.g-gen.co.jp BigQuery O
Amazon S3からGoogle Cloud Storageにアクセスキーを使わずデータコピーする
こんにちは。SCSK石原です。 GCPのData Transferを利用すると、AWSのIAMロールを利用してS3からCloud Storageにデータをコピーすることができるそうです。 アクセスキーは定期的なローテーションが推奨されています。アクセスキーを使わなくていいのは管理面で有効化ですね。 こちらを試してみました。 [AWS]IAMロールの作成 今回は、アクセスキーではありません。IAMロールを利用してGCPからS3にアクセスしますので、こちらを作成します。 データソースとデータシンクへのアクセスの構成 | Cloud Storage Transfer Service のドキュメント | Google Cloud IAMロールとポリシーを作成するテンプレートは下記の通りです。 AWSTemplateFormatVersion: "2010-09-09" Descriptio
S3からGCSへ簡単にファイル移行する方法
Lv：41 Exp：302264 普段はGCP専門のエンジニアをやっています。 最近は個人的な活動としてGOとswiftでアプリ作ってます。 G+ はじめに クラウドという言葉が当たり前になってきている現在、ファイルサーバは自前で持つ時代から、サービスとして利用する時代へと変わってきていると思います。 おそらく、自前のファイルサーバからGoogle Cloud Storage(以下GCS)やAmazon Simple Storage Sewrvice(以下S3)等のストレージサービスに乗り換えた企業も少なくはないのではないでしょうか。 ただ、今後は価格やパフォーマンスの競争によって、クラウドからクラウドへの移行も増えてくると思われます。というわけで、今回のapps-gcpでは「ストレージの移行」について取り上げます。 ずばり、S3からGCSへのストレージ間データ移行です。GoogleはS3
Amazon S3のイベント通知機能を使用し、SQSキューに送ってみた。 | DevelopersIO
こんにちは、イムチェジョンです。 今回のブログではイベント通知（Event Notifications）する方法をまとめたいと思います。 アジェンダ Amazon S3のイベント通知とは？ Amazon S3のイベント通知作成方法 まとめ 1. Amazon S3のイベント通知とは？ Amazon S3イベント通知機能を使用すると、S3バケットで特定のイベントが発生した時にお知らせを受けることができます。 通知を有効化するには、まずAmazon S3が掲示するイベントとAmazon S3が通知を送る対象を識別する通知構成を追加してください。 イベント通知の種類 オブジェクトの作成イベント オブジェクト削除イベント オブジェクト復元イベント 低冗長化ストレージ (RRS) オブジェクト消失イベント レプリケーションイベント イベントの発行先 Amazon Simple Notificatio
Athena で Load Balancer のログを分析する
Amazon Athena で Application Load Balancer のアクセスログを分析したい。 簡単な説明 Elastic Load Balancing では、デフォルトでアクセスログはアクティブではありません。アクセスログを有効にするには、Amazon Simple Storage Service (Amazon S3) バケットを指定します。すべての Application Load Balancer と Classic Load Balancer のアクセスログは Amazon S3 バケットに保存されます。ロードバランサーのパフォーマンスをトラブルシューティングまたは分析するには、Athena で Amazon S3 のアクセスログを分析します。 注: Athena では、Application Load Balancer と Classic Load Balan
ALBのアクセスログをS3に保存して中身を読み解いてみる | DevelopersIO
大阪オフィスのYuiです。 ALBのアクセスログをS3に保存するということを初めてやってみたので手順をメモ＆せっかくなのでログの中身を読んでみたいと思います(｀・ω・´) やってみた ログを保存したいALBを選択し、説明タブの一番下の「属性の編集」をクリックする 「ロードバランサーの属性の編集」というウィンドウが表示されるので、「アクセスログの有効化」にチェックを入れる 「S3の場所」に作成したいS3のバケット名を入力し、「この場所の作成」にチェックを入れる 「保存」をクリックして作業完了！ S3からログを確認する ALBのアクセスログのディレクトリは以下のようになっています。 [バケット名]/AWSLogs/[AWSアカウントID]/elasticloadbalancing/region/yyyy/mm/dd/aws-account-id_elasticloadbalancing_reg
[アップデート] Amazon S3 Intelligent-Tiering がより使いやすくなりました（最小ストレージ期間 / 小さなオブジェクトの監視・オートメーションコストの撤廃） | DevelopersIO
コンバンハ、千葉（幸）です。 2021 年 9 月 2 日にあった AWS Storage Day 2021 では多くのストレージ関連の AWS サービスアップデートがありました。 その中の一つとして Amazon S3 Intelligent-Tiering に関するアップデートがありましたので、今回はそれを取り上げていきます。 簡単に言うと以下の観点でアップデートされています。 オブジェクトの最小ストレージ期間が 30 日から 0 日に これまでは格納から 30 日未満で削除しても 30 日分のストレージ料金がかかっていた 128 KB 未満のオブジェクトの監視・オートメーションの料金がタダに これまではすべてのサイズのオブジェクトが課金対象だった より幅広いワークロードで、 Amazon S3 Intelligent-Tiering によるコスト最適化が期待できるようになりました！
[新機能] S3 の利用状況が一目瞭然！しかも無料！「Amazon S3 Storage Lens」がリリースされました！ | DevelopersIO
本日のアップデートで Amazon S3 Storage Lens がリリースされました。 Amazon S3 Storage Lens delivers organization-wide visibility into object storage usage and activity trends S3 Storage Lens とは S3 Storage Lens はオブジェクトストレージの使用状況とアクティビティの傾向を可視化し、コスト効率化、データ保護に関するベストプラクティスに向けた推奨事項が提供されます。また AWS Organizations と連携することで AWS Organizations 内のアカウント全体のストレージ使用状況、アクティビティを単一ビューで管理できます。 無料でも使える！ 標準メトリクスのみの場合、S3 Storage Lens は無料で利用できま
S3＋cloudFrontで静的Webサイトのホストティング - Gattino
構成 S3とCloudFrontを使った静的Webホスティングの構成は、CloudFormationのテンプレートが用意されているのでこれを使うことで簡単に構築することができます。 このテンプレートでは以下のような構成で作成されます。 安全な静的ウェブサイトの使用開始 S3での静的Webホスティング コンテンツ保持用とログ用の2つのバケットが作成されます。CloudFrontでの高速配信 高速な配信のためにCloudFront ディストリビューションを利用します。S3にはCloudFrontを通したアクセスのみを許可するOAI（origin access identitiy）を使います。ACMの証明書を使ったHTTPSアクセス カスタムドメインに対して、AWS Certificate Manager (ACM) で SSL/TLS 証明書を作成し、CloudFormationにアタッチされ
CloudFormation で OAI を使った CloudFront + S3 の静的コンテンツ配信インフラを作る | DevelopersIO
よく訓練されたアップル信者、都元です。年末に Fitbit Alta HR を買いました。 睡眠や心拍がほぼ24時間体制でトラッキングされるって面白いですね。え？ アップルウォッうわなにをする はじめに さて、S3 + CloudFront で静的コンテンツ配信をしよう、というのはもう今さら言うまでもない鉄板構成だと思います。かつてAWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む）でご紹介した「横綱」パターンですね。 公開サイトとして、この構成を雑に作る場合 CloudFront を介して配信するということは基本的に公開サイトとして配信するユースケースが多いと思います。 つまり、原則としてはみんな CloudFront を介してコンテンツにアクセスして欲しいのですが、最悪 S3 に直接アクセスしてコンテンツを読まれたとしてもセキュリティ上は問題ない、ということです。 こ
外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 | Amazon Web Services
Amazon Web Services ブログ 外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 このブログは 2022 年 3 月 24 日に Anderson Hiraoka (Solutions Architect) と、Rafael Koike (Principal Solutions Architect) によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 企業では、ファイルや画像などのデジタル資産をリポジトリに保存することが求められることが多くあります。多くの場合、これらのファイルのソースは、社内システムに接続されていないパートナーまたは個人であり、ファイルをアップロードするためには、企業の認証が必要となります。お客様は従来、ファイルのアップロードを処理するためにサーバーを使用していましたが、大量のネットワー
【小ネタ】AWS CLIでS3のPre-Signed URLを生成できるようになっていました！ ｜ DevelopersIO
西澤です。およそ1ヶ月前にリリースされていた機能なので、ブログに書くには遅すぎた感もありますが、社内担当で知らない者もいたので、小ネタですが書いておこうと思います。 最新版のAWS CLIを使えば、Pre-Signed URLを簡単に生成できるようになっています。正確には、aws s3コマンドのサブコマンドとして、v1.10.59からpresignが追加されていますので、こちらの機能をご紹介したいと思います。 1.10.59 feature:s3: Add a new aws s3 presign command, closes #462 aws-cli/CHANGELOG.rst at develop · aws/aws-cli Pre-Signed(署名付き) URLとは？ Pre-Signed URLとは、S3上のオブジェクトに期限付きURLを生成する機能です。正確には、アップロード
[小ネタ]S3の署名付きURLを利用して、非AWSユーザにWindows PCからファイルをアップロードしてもらった話 | DevelopersIO
西澤です。メール添付ファイルサイズの制限にかかり、ファイルの受け渡しができない問題というあるあるに遭遇しました。非AWSユーザにWindows PCからS3の署名付きURLを利用してファイルをアップロードしてもらうよう案内する機会があったので、手順をまとめておきます。 前提 今回は、以下のような状況でした。 ファイルの送り手側 非AWSユーザ 端末はWindows 案内すればコマンドライン操作が行えるエンジニア ファイルの受け手側 私 管理者権限を有するAWSアカウントを持っている S3の署名付きURL S3の署名付きURLについては、古くからある機能ですので、目新しさはありません。どのようなものか、ご存知無い方はぜひ下記記事もお読みください。期限付きのアクセス権を有したURLを発行できる非常に便利なS3の標準機能です。 【小ネタ】AWS CLIでS3のPre-Signed URLを生成で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
