［速報］AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon S3 Standardストレージクラスより最大10倍高速な「Amazon S3 Express One Zone」ストレージクラスを発表しました。 Need low latency & high performance? Accelerate workloads with #AWS Amazon #S3 Express One Zone delivers the fastest data access in the cloud with the lowest-latency cloud #Storage. Speed up data processing & cross the finish with time to spare. htt
S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
MediaStoreをS3よりも整合性の強いストレージとして理解する | DevelopersIO
はじめに 清水です。「MediaStoreって動画用のストレージらしいから使う機会なさそうだよな…」などと思っていませんか？ MediaStoreは「メディア向けに最適化されたAWSストレージサービス」ですが、S3よりも強いデータ整合性モデルを提供しつつ、S3と同様のセキュリティおよび耐久性を持つオブジェクトストレージサービスとも捉えることができます。そのため整合性の観点でS3の使用が難しい場合、MediaStoreを候補に検討することができるのではないかと考えます。本エントリではそんなAWS Elemental MediaStoreとAmazon S3をデータ整合性モデルの面で比較してみたいと思います。 Amazon S3のデータ整合性モデル まずはAmazon S3のデータ整合性モデルです。 新しいオブジェクトのPUTは書き込み後の読み込み整合性(read-after-write co
コマンド1つで作れる！かんたん自宅Amazon S3互換環境！ - Qiita
Amazon S3って？ 追記: 以下の記事で紹介したS3互換環境を使って，サムネイルサーバーを作ってみました！！ サーバーレスの入門に！自宅サーバーレス+自宅S3環境で作るサーバーレス・サムネイルサーバー！ ざっくりというとAmazonが提供している"ファイルサーバーのようなもの"です． 公式ドキュメントによると Amazon Simple Storage Service はインターネット用のストレージサービスです。また、ウェブスケールのコンピューティングを開発者が簡単に利用できるよう設計されています。 引用：Amazon S3 とは何ですか？ 厳密にはAmazon S3はオブジェクトストレージの一種で， オブジェクトストレージはデータをファイル単位やブロック単位ではなく、オブジェクトという単位で扱います。オブジェクトにはストレージシステムのなかで固有のID（URI）が付与され、データと
rclone - 多数のクラウドストレージサービスに対応したクラウド版rsync | ソフトアンテナ
もはや快適なPCライフを過ごす上で欠かせない存在となった「クラウドストレージサービス」。人気を反映して多数のサービスが存在しています。 本日紹介する「rclone」は、そんなクラウドストレージをコマンドラインから操作することができる便利なツールです。「rsync for cloud storage」と題されているように、クラウドストレージ版rsyncと考えると分かりやすいかもしれません。 MITライセンス採用のオープンソースソフトウェアで、クロスプラットフォーム対応のGo言語を使って作成されています。このためLinux、Mac、Windows、その他UNIX系OS向けのバイナリファイルが提供されています。 クラウドストレージとしては以下のサービスに対応しています: Google Drive Amazon S3 Openstack Swift / Rackspace cloud files
オブジェクトストレージ Minioで遊ぶ - あんパン
これはKMC Advent Calendar 2015 15日目の記事です。 昨日は id:jf712 さんの @uiureo さん誕生日おめでとうございます - 霊安日記 でした。 目次 目次 はじめに Minioとは Minioの使い方 サーバを起動する サーバを叩く Node.jsから叩く Rubyから叩く Amazon S3互換オブジェクトストレージに関する雑談 総評 宣伝 はじめに こんにちは、id:masawadaです。KMC内でもアカウント名はmasawadaです。東京にある電気通信大学という大学に通っています*1。YAPC2015で入部しました。 本日はAmazon S3互換のオブジェクトストレージMinioを紹介します。 Minioとは MinioはAmazon S3互換のオブジェクトストレージを構築するソフトウェアです。 Golangで記述されておりApache Lic
Minio·S3/HaystackにインスパイアされたWebオブジェクトストレージ MOONGIFT
Amazon S3を便利に使っている人は多いかと思います。公開サービスであればそれでも良いのですが、社内で類似のストレージを立てたいと思ったり、独自のセキュリティ上の問題があってS3が使えないという方もいるでしょう。 そんな方に使ってみて欲しいのがMinioです。Amazon S3やFacebookのHaystackにインスパイアされたWebオブジェクトストレージです。 Minioの使い方 Minioのインストールはバイナリをダウンロード&設定するのが簡単です。例えばMac OSXの場合は次のようになります。 $ wget https://dl.minio.io:9000/updates/2015/Jun/darwin-amd64/minio $ chmod +x minio そしてサーバを立ち上げます。この場合メモリ上ですが、ファイルシステムを選択することもできます。 $ minio m
MinIO | S3 & Kubernetes Native Object Storage for AI
The Object Store for AI Data Infrastructure MinIO is a high-performance, S3 compatible object store. It is built for large scale AI/ML, data lake and database workloads. It is software-defined and runs on any cloud or on-premises infrastructure. MinIO is dual-licensed under open source GNU AGPL v3 and a commercial enterprise license.
Rclone
Rclone syncs your files to cloud storage About rclone What can rclone do for you? What features does rclone have? What providers does rclone support? Download Install About rclone Rclone is a command-line program to manage files on cloud storage. It is a feature-rich alternative to cloud vendors' web storage interfaces. Over 70 cloud storage products support rclone including S3 object stores, busi
新ストレージサービス「Amazon Elastic File System」（Amazon EFS）登場。NFSでマウント、ファイル容量にあわせて自動的にキャパシティが増減しプロビジョニング不要
新ストレージサービス「Amazon Elastic File System」（Amazon EFS）登場。NFSでマウント、ファイル容量にあわせて自動的にキャパシティが増減しプロビジョニング不要 Amazon EFSは、Amazon EC2からNFSv4でマウントして利用するストレージサービスです。あらかじめ容量を決めてプロビジョニングする必要がなく、保存するファイルの大きさに対して自動的にキャパシティが増減していくのが特長。 また、同時に数千もの同時接続にも対応するスケーラビリティを備えていると説明されています。 自動的にキャパシティが増減、保存データの冗長性も Amazon EFSは通常のNFSサーバと同じように振る舞うため、既存のアプリケーションは何も書き換える必要なくそのまま利用可能。フルマネージドサービスのため運用の手間は必要なく、前述のように保存されたファイルの大きさに応じて自
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
EC2上にStorage Gatewayを構築する。 - サーバーワークスエンジニアブログ
AWSチーム、Storage Gatewayマニアの宮澤です。 ADSJの源太さんにファステストを譲ってしまいましたが、Storage GatewayがEC2上で動作するということなので、さっそく動作確認をしたいと思います。 Storage GatewayをAMIから起動 Storage Gateway用のAMIが、AWSからMarketPlaceで配布されています。 以下のように、MarketplaceからAMIを検索します。 検索結果が以下のようになりました。一番上の"AWS Storage Gateway"を選びます。 選択したAMI情報が表示されます。 VMwareESXi用に用意されていた、Storage Gatewayのマシンイメージは、CentOSで作られていましたが、EC2版はAmazonLinuxのようです。 AMIからインスタンスを立ち上げるため、右側の"Continu
1GB/1円 衝撃のAmazon Glacierを早速使ってみた - ku-sukeのブログ
【AWS発表】 Glacier – 1GBあたり月額約1円で利用可能なアーカイブストレージが登場 - Amazon Web Services ブログ というわけでS3以来の衝撃だったので早速使ってみました。がしかし未だダウンロードは時間まちで試せていません。まずは概要のレポートです。 Amazon Glacierとはなんぞや 一言で言うと、いつでも手軽には取り出せない代わりに、安く長く安全に大量にデータを保存してくれるサービスです。1GBあたり月額1円と、Amazon S3の十分の一の価格で、MacBookAirのSSD256GBをフルバックアップしても、月額256円しかかからないのです。 Dropbox的につかえるの？ 使えません。アップロードしたデータを取り出すには、申し込みリクエストを送信してから、3、４時間待つ必要があります。 つまり利用用途としてはお気に入り動画を何年も安全にバッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
