Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services
AWS News Blog Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads Update (September 2023) – Add information about enabling file deletion. Mountpoint for Amazon S3 is an open source file client that makes it easy for your file-aware Linux applications to connect directly to Amazon Simple Storage Service (Amazon S3) buckets. Announced earlier this year as an alpha relea
S3のコストダウンを実施してみた - dwango on GitHub
※本ブログは2022/2に執筆されています。そのため、アップデートによって内容が現在と異なる可能性があります。 はじめに モバイル事業本部プロダクトエンジニアリングセクション マネージャーの安田です。 インフラっぽいことやクラウドっぽいことやデータエンジニアっぽいことをやってます。 今回、モバイル事業部で使うS3のコスト削減のため、ストレージクラスの移行等を行うライフサイクルの設定を行いましたのでご紹介します。 これからS3の管理を行っていく方、コスト削減に興味のある方の参考になれば幸いです。 実施の背景 モバイル事業本部ではドワンゴジェイピーやアニメロミックスなど音楽配信ビジネスを中心に展開しており、様々なレーベルからお預かりした楽曲データを管理しています。 また、ニコニコ事業本部ができる前からサービスを行っており、多大な量のシステムログやクラウドサービスのログデータなどが存在しています
【注意喚起】 2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなります。 | DevelopersIO
2020年9月30日以降、パス形式での S3 API リクエストは受け付けられなくなる、との発表がありましたのでシェアします。 Announcement: Amazon S3 will no longer support path-style API requests starting September 30th, 2020 2021.01.27 追記 2020年9月23日に以下の追加アナウンスがありました。 ・ユーザーが仮想ホスト形式への移行に必要な時間を確保するための措置として、パス形式の非推奨化は少なくとも 1 年間延期されました。執筆時点において新規バケットについてもパス形式のリクエストは可能ですが、あくまで延期であるため新規に作成されるものについては、仮想ホスト形式を前提にしたほうが良い点は変わらないと思います。 ・また、互換性の理由から仮想ホスト形式においてもドットが含まれる
?nc1=h_ls
Amazon S3 now provides increased performance to support at least 3,500 requests per second to add data and 5,500 requests per second to retrieve data, which can save significant processing time for no additional charge. Each S3 prefix can support these request rates, making it simple to increase performance significantly. Applications running on Amazon S3 today will enjoy this performance improvem
Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
画像配信：SwiftからS3への引越について | GREE Engineering
こんにちは、インフラストラクチャ部の橋本です。 このエントリは GREE Advent Calendar 2015の12日目の記事です。 はじめに グリーではOpenstack Swiftを使いSNSの画像の配信を行っていました。構成は下記のようなもので、WebDAVにWarp（Haskellで書かれていています）、一時的なキャッシュにはFlareを、恒久的な保存にはSwiftを使用しています。このたびSwiftからAWSのS3に切り替えることになりました。その引越にまつわる話です。 SwiftとS3は別もの（当たり前ですが） Swiftを採用される理由としてS3のAPIと互換というものがあります。しかし、それなりの規模で運用するには、バケット(Swiftの用語ではコンテナ）の構成に別々の工夫が必要です。 Swiftはバケットをほぼ無制限に作れます。その一つのバケットのファイルリストはSQ
[新機能]Amazon S3のVersioningとLifecycleを組み合わせる | DevelopersIO
ども、大瀧です。 一昨日、Amazon S3に地味〜な機能追加としてVersioningとLifecycleの両方の有効化がサポートされました。 元々S3ではファイル(オブジェクト)の管理オプションとしてVersioningとLifecycleを別々に使うことはできたのですが、排他の関係で両方有効化しようとするとエラーになっていました。両方を組み合わせることで、ユニークな使い方ができそうなのでご紹介してみます。 復習 S3 Versioningオプションとは S3のVersioningとは、保存するファイルを上書きする際に古い内容を維持できるオプションです。Git/Subversionといったバージョン管理ツールほどの機能は持っていませんが、更新前の内容を保持できますので、誤って内容を変更・上書きしてしまった際などに対応できます。 S3 Lifecycleオプションとは S3のLifecy
![[新機能]Amazon S3のVersioningとLifecycleを組み合わせる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ae1831085634f040d8ea87c65585c41d4de216bc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_S3.png)
AWS News Blog
New Solution – Clickstream Analytics on AWS for Mobile and Web Applications Starting today, you can deploy on your AWS account an end-to-end solution to capture, ingest, store, analyze, and visualize your customers’ clickstreams inside your web and mobile applications (both for Android and iOS). The solution is built on top of standard AWS services. This new solution Clickstream Analytics on AWS a
クラウドとサーバーを同期できる便利ツール「S3Sync」 ～Amazon EC2/S3環境構築のすべて～
はじめに 前回は、「Amazon EC2」のバックアップまわりの話題として、「Amazon EBS」の概要や使い方を紹介しました。 今回は「Amazon EC2」を取り巻くデータバックアップの方法の付録として、「Amazon EC2」のデータを「Amazon S3」と同期するツール「S3Sync」を紹介します。 前提条件 今回も「Amazon EC2 Command-Line Tools」を利用した方法を紹介していきます。作業前提として、基本的なセットアップが終了し、「Amazon EC2」インスタンス（仮想マシン）は起動しているものとします。セットアップや「Amazon EC2」でのインスタンス起動については、前回までの記事を参考にしてください。 また、今回紹介するツール「S3Sync」の利用には、別途Rubyが必要となります。「Amazon S3」への接続にHTTPSを利用している場合
Amazon S3 をバックアップとして使う - いますぐ実践! Linuxシステム管理 / Vol.163
「いますぐ実践! Linux システム管理」はこちらです。 メルマガの解除、バックナンバーなども、以下からどうぞ。 https://www.usupi.org/sysad/ (まぐまぐ ID:149633) その他、作者に関するページは、概ね以下にございます。 https://www.usupi.org/kuri/ (まぐまぐ ID:126454) http://usupi.seesaa.net/ (栗日記ブログ) https://twitter.com/kuriking/ (twitter) https://facebook.com/kuriking3 (facebook) https://jp.pinterest.com/kuriking/pinterest) https://www.instagram.com/kuri_king_/ (instagram) [バックナンバーのトップへ
クラウド型ストレージ「Amazon S3」は安いか？
Amazon S3は安いか高いかという議論を、この2日間で立て続けに3個所で耳（目）にした。 1人はネットサービスベンチャーのCTOで、クラウドへの移行を検討しているものの、Amazon S3やEC2の実際の価格や使い勝手がよく分からないという話だった。コスト的に見合うなら、もうサーバ運用に煩わされたくないと漏らしていた。 もう1つは、ベンチャーキャピタルとして知られるYコンビネーターの掲示板で見かけた「Does Amazon S3 really save money？」で始まる議論。1GB当たり1カ月で0.15ドルと聞くと安いようにも思えるが、1TBの月額は150ドル、2年にすると3600ドル（1ドル92円として約33万円）にもなる。しかも転送量に応じた課金もあるため、実際にはこれ以上になる。今や1TBのドライブ単価は1万円を割っていて、2年で3600ドルとは比較にもならない。「クラウド
Amazon S3、大規模データで18倍の通信性能高速化へ - builder by ZDNet Japan
データドリブンに足りないもの DOMO Japan 川崎氏に聞く データ活用能力の向上に必要なこと アプリ開発がビジネスを左右する クラウドネイティブ時代に アプリ開発に専念できる環境の重要性 セキュリティモデルは変わった！ クラウド活用、リモートワークはあたりまえ いま求められるゼロトラスト実現のために 激変するビジネス環境の中でのDX モダンアプリケーション戦略への取り組みが 市場の競争力の源泉となる アプリケーションモダナイズ 求められている背景にあるビジネスの今 そして、成功の鍵を握るDevOpsの真の意味 50年の経験を持つアイネットが提供 ユーザー企業の使いやすさを第一に考えた ワンストップで使えるマネージドクラウド 本当のデータ活用できていますか？ データドリブンがあたりまえと言われる今あらためて考えたいデータ活用のありかた A Business New Era あらゆるモノ
Amazon S3の耐久性は99.999999999％。こんなに高い耐久性がいらない人向けのオプションが登場 － Publickey
Amazon S3の耐久性は99.999999999％。こんなに高い耐久性がいらない人向けのオプションが登場 AmazonクラウドにはAmazon Simple Storage Service（Amazon S3）と呼ばれるストレージサービスがあります。Amazonクラウドのブログに投稿された記事「New: Amazon S3 Reduced Redundancy Storage (RRS)」によると、その耐久性（durability）は99.999999999％（イレブンナイン）。 ブログの説明を借りると、これはAmazon S3に1万個のオブジェクトを保存したとして、そのうちの1つが障害によって失われるのに平均で1000万年ほどかかるレベル。これは、S3領域の複数の機器に対する冗長構成によって実現していると説明されています。 you can simply store your data
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
leofs.org
NHN STF
Amazon S3 and EC2 Performance Report – How fast is S3? – HostedFTP.com – News