クラウドストレージ、特にオブジェクトストレージについて質問があります。 AWSを例に出すとS3への書き込み速度と読み込み速度はローカルのHDDとSSDの中間くらい出ている認識です。そのような性能を持っているのに25ドル/TBのような安価で提供できているのはどのような実装がされているのでしょうか？ | mond
クラウドストレージ、特にオブジェクトストレージについて質問があります。 AWSを例に出すとS3への書き込み速度と読み込み速度はローカルのHDDとSSDの中間くらい出ている認識です。そのような性能を持っているのに25ドル/TBのような安価で提供できているのはどのような実装がされているのでしょうか？ 軽く検索するとS3のレイテンシは1桁ミリ秒、帯域はクライアント側のネットワークがボトルネックになるまで(つまり100Gbpsレベル)出るようですね。しかも99.999999999%(11ナイン)の耐久性という数字は生半可な努力で出せる数字ではありません。 なぜそんな高速なストレージがこんなに安いのかというのは一言では「経済の力」となりますがもう少し噛み砕くといくつかの要素があります。 S3はまき餌かも知れないクラウドビジネス各社ではオンプレミスやコロケーションで顧客自身が契約している物理ハードウェ
ストレージ初学者のためのホワイトペーパー
SNIA 1. 2. SNIA SNIA SNIA office@snia-j.org SNIA SNIA i office@snia-j.org Copyright 2024 SNIA . All rights reserved. ii 1 1 2 3 2.1 . . . . . . . . . . . . . . . . . . 3 2.2 . . . . . . . . . . . . . . 6 3 9 3.1 DAS Direct Attached Storage . . . . . . . . . . . . . 9 3.2 SAN Storage Area Network . . . . . . . . . . . . . . 10 3.3 NAS Network Attached Storage . . . . . . . . . . . . 11 3.4 . . . . . .
NVMeに新機能。ストレージがデータ処理を行う「コンピュテーショナルストレージ」、NVM Expressが発表
NVMe関連規格の標準化団体であるNVM Expressは、ストレージ内でデータ処理を行うための業界標準「コンピュテーショナルストレージ」（Computational Storage）機能を発表しました。 「コンピュテーショナルストレージ」はデータ処理を行えるストレージ コンピュテーショナルストレージとは、その名前が示す通り計算機能を備えたストレージのことです。 基本的にストレージに格納されたデータは、ストレージから取り出されてメインメモリに読み込まれ、それをCPUが処理します。しかし大量のデータを処理する場合、大量のデータをストレージからメモリへと移動させなければなりません。 そこで、ストレージが備えているFPGAやプロセッサを用いてストレージ内でデータ処理が行えるようになれば、データをストレージから移動しなくて済むために高速な処理が期待できます。 そうしたインテリジェントなストレージや
Ceph: A Journey to 1 TiB/s - Ceph
I can't believe they figured it out first. That was the thought going through my head back in mid-December after several weeks of 12-hour days debugging why this cluster was slow. This was probably the most intense performance analysis I'd done since Inktank. Half-forgotten superstitions from the 90s about appeasing SCSI gods flitted through my consciousness. The 90s? Man, I'm getting old. We were
一般のご家庭に1PB(1000TB)のHDD | IIJ Engineers Blog
九州支社技術部(九州・中四国事業部)所属。自作パソコン好きで、ハードウェア選定の仕事を与えると喜ぶ。最近は何でもコンテナにしたい教に入信し、コンテナ化の機会を虎視眈々と狙っている。 【IIJ 2023 TECHアドベントカレンダー 12/11の記事です】 こんにちは、九州支社技術部(九州・中四国事業部)所属のy-morimotoです。 ふとしたことから、自宅に大容量の記憶媒体が欲しくなる時があるかと思います。 最近では、単体で22TBなHDDや、30.72TBなSSDなど、ラックマウントサーバ的な物を使わなくても、大容量が準備しやすい時代になりました。 ただ、1PB(1000TB)を目指した際に、意外とつまずきポイントがあったので、今回ご紹介させて頂きます。 今後、ご自宅に1PB(1000TB)を置かれる際の参考になれば幸いです。 １．USB接続の限界 簡単にHDDを接続する方法、まず思い
内製オブジェクトストレージサーバ「b3」でコスト最適化を目指した話 - Mirrativ Tech Blog
インフラストリーミングチームの近藤 (@udzura) です。今回は、ミラティブで内製しているオブジェクトストレージサーバ「b3」の紹介記事を書きたいと思います。 今回の記事は、6月にGopher Talkというイベントで発表した「Go製ミドルウェアを実践投入するにあたりやったこと」をベースに、内容を詳細にしたり直近の開発状況に合わせて更新したものです。一部内容はこの発表と重複していますがご了承ください。 オブジェクトストレージサーバを内製した背景 1. 大量オブジェクトの操作や増え続ける転送量に対応したい 2. 一定期間しかファイルの保持をしない 3. オンメモリ/SSD/HDDを組み合わせたチューニングがしたい オブジェクトストレージb3の特徴 S3 互換の基本的なAPIを実装 LSM-Tree index＋WALなDB/マージ操作に対応 I/O 帯域を制限可能 非同期レプリケーション
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
