内製オブジェクトストレージサーバ「b3」でコスト最適化を目指した話 - Mirrativ Tech Blog
インフラストリーミングチームの近藤 (@udzura) です。今回は、ミラティブで内製しているオブジェクトストレージサーバ「b3」の紹介記事を書きたいと思います。 今回の記事は、6月にGopher Talkというイベントで発表した「Go製ミドルウェアを実践投入するにあたりやったこと」をベースに、内容を詳細にしたり直近の開発状況に合わせて更新したものです。一部内容はこの発表と重複していますがご了承ください。 オブジェクトストレージサーバを内製した背景 1. 大量オブジェクトの操作や増え続ける転送量に対応したい 2. 一定期間しかファイルの保持をしない 3. オンメモリ/SSD/HDDを組み合わせたチューニングがしたい オブジェクトストレージb3の特徴 S3 互換の基本的なAPIを実装 LSM-Tree index＋WALなDB/マージ操作に対応 I/O 帯域を制限可能 非同期レプリケーション
Cray ClusterStor E1000ストレージシステム | HPE 日本 | OID1012842049
パフォーマンスの効率性 Cray ClusterStor E1000ストレージシステムでは、NVMe PCIe 4.0ストレージコントローラーが使用されているため、他のストレージソリューションに比べて、より高いパフォーマンスを引き出せます。このことは必要なエンクロージャー、ラック、消費電力、およびフロアスペースを削減できることを意味します。 2ラックユニットフォームファクター内の24台のNVMe Gen4 SSDにより、ファイルシステムの読み取りと書き込みで合計最大80GB/秒と55GB/秒のスループットを実現するScalable Storage Unit – Flash (SSU-F) を搭載したCray ClusterStor E1000ストレージシステムなら、わずか24台のSSDからお使いのコンピュートノードに非常に効率的な方法で80GB/秒と50GB/秒のパフォーマンスをもたらすこ
共用ストレージ[東京大学情報基盤センタースーパーコンピューティング部門]
概要 HPCI の資源として、ストレージ資源をユーザーに提供するものです。 共用ストレージには広域分散ファイルシステム Gfarm を利用しています gfarm2fs コマンドをはじめとして、Gfarm コマンドが利用できる環境がお手元にあればそちらに共用ストレージのデータ領域をマウントしてご使用頂けます。 また、手元にそのような環境がない方向けに Gfarm コマンドを利用できるクライアントも用意してあります。 大容量 Gfarm は複数のファイルシステムノードを単一のファイルシステムのようにみせる実装であり、大容量のファイルシステムを実現することが可能です。 現在、共用ストレージがユーザー全体で利用可能な総容量は 21.5 PB であり、ユーザー個別に対する使用容量の制限は、設けられていません。 冗長化 Gfarm は複数のファイルシステムノードを単一のファイルシステムのようにみせる実
Preferred Networks におけるHadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
高速ネットワークストレージ ベンチマーク - ファナティック
高速ネットワークストレージ ベンチマーク 2016.07.12 ベンチマークレポート Infinibandの性能向上やIntel Omni-pathの登場により、ネットワークの帯域がついに100Gbpsに達しました。この高速ネットワークを一部のHPCスパコン用だけに使っているのはもったいないとは思いませんか？ これらをストレージシステムに導入すれば、FC-SAN等に比べて圧倒的に高コストパフォーマンスのSAN/NAS環境が構築可能です。さらにRDMA機能を利用すれば、超低レイテンシアクセスによりさらなる性能向上も期待できます。（実際に一部大手ストレージメーカー製品でもこの技術は採用されています。） RDMAとは… Remote Direct Memory Accessの略。サーバ間のデータ転送を、CPUを介さずに直接メモリ同士で行う技術。 またストレージを高速化する方法として、近年ではFl
February 2016 Webinar Series - Architectural Patterns for Big Data on AWS
With an ever-increasing set of technologies to process big data, organizations often struggle to understand how to build scalable and cost-effective big data applications. In this webinar, we will simplify big data processing as a pipeline comprising various stages; and then show you how to choose the right technology for each stage based on criteria such as data structure, design patterns, and b
Ceph のストローアルゴリズム(straw algorithm) - NAKAMURA Minoru's Diary
2002 | 10 | 11 | 12 2003 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2004 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2005 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2006 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2007 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2008 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 2009 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1
WalB v1.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
更新情報 2017年6月現在、WalB のプロジェクトページはhttps://walb-linux.github.io/です。 こんにちは．サイボウズ・ラボの星野です． 今日は，効率的なバックアップと非同期レプリケーションを目的とした Linux カーネルドライバ WalB についての簡単な紹介と，そのバージョン 1.0 のリリース告知をさせて頂きます． WalB って何？ WalB は「ワルビー」と発音します．名前の由来は Block-level WAL です．WAL は Write-Ahead Logging (ログ先行書き込み) のことで，データベースの一貫性制御等に用いられます． WalB を使うと，オンライン状態のブロックデバイスにおいて，アプリケーションやファイルシステムによるデータ書き込みによって生じる差分データを，ブロックデバイスをフルスキャンすることなく効率的に取得出来る
An Efficient Backup and Replication of Storage
Ceph on Intel: Intel Storage Components, Benchmarks, and Contributions
International Parallel Data Systems Workshop
Program Co-Chairs: Microsoft, USA The Ohio State University, USA Reproducibility Co-Chairs: DePaul University, USA Lawerence Berkeley National Laboratory, USA abstract / cfp / submissions / WIP session workshop registration / committees PDSW23 Reproducability Addendum (updated Aug 29, 2023) NEW SUBMISSION DEADLINE: AUG 6, 2023 Invited speaker - TBA WORKSHOP ABSTRACT We are pleased to announce the
クラウドインフラを支える高性能ネットワーク、ストレージ技術
カテゴリー DX (2) 一般 (58) 研究会 (6) 働き方 (4) 技術 (349) Edge AI (2) Edge Computing (12) Erlang (1) FIWARE (2) Fog Computing (9) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (2) RealTime Web (14) Webサービス (42) インフラ (7) コンテナ (3) ストレージ (92) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (214) 仮想化 (110) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティング (3) 教育
OpenStack Storage(Swift) 調査報告書 - クリエーションライン株式会社
2011年1月18日 1. 概要 Swift は OpenStack プロジェクトが開発している分散オブジェクトストレージである。OpenStack は、クラウド環境を構築するためのオープンソースプロジェクトであり、仮想マシンの管理を行う Nova と、オブジェクトストレージの Swift がある。Swift の位置づけとしては、Nova の仮想マシン のイメージの保存などが挙げられる。しかしオブジェクトストレージの機能は独立しており、Nova と 関係なく利用することも可能である。現行の仕様では、Nova と連携するようにはなっていないため、 本報告書では Swift のみの利用を中心に述べる。 Swift の元になったのは、Rackspace 社の運用する CloudFiles というサービスであった。現在 はオープンソースソフトウェアとして公開されており、開発言語には Python
CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Data [PDF]
CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Data Appeared in Proceedings of SC '06. Abstract Emerging large-scale distributed storage systems are faced with the task of distributing petabytes of data among tens or hundreds of thousands of storage devices. Such systems must evenly distribute data and workload to efficiently utilize available resources and maximize system perf
ReadyNASとは何か
ReadyNASを普通に使っている限りは全く気にする必要はないが、何か問題が起きたりしたときに、そもそもReadyNASの中はどうなってるのかということに興味が湧くのは自然だと思うので、その流れの話。 （このエントリは一続きのエントリの5/5） 4.1. ReadyNASの構成（推測） ReadyNASが何かといえば、LinuxをOSとして稼働する/RAID構成で/NAS専用のPC、ということになる。アプライアンスのLinux機としては普通のPCに近いが、普通のPCと特に違うのは、 オンボードにOSのインストールイメージを持っていること ブートプロセスが少し変わっていること ただ、Netgearの人はこういう話をあまり正面から書いてくれてない。あくまでアプライアンスであってユーザーの心配することではないし、SSHでログインすれば分かる人には分かるだろう、と説明の必要を感じてないのかもしれな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.microsoft.com/en-us/research/uploads/prod/2023/03/RDMA_Experience_Paper_TR-1.pdf
https://www.t3.gsic.titech.ac.jp/sites/upload/TSUBAME3_Lustre_Seminar.pdf
E8 Storage Mellanox Solution Brief
http://tce.technion.ac.il/wp-content/uploads/sites/8/2015/06/SC-1.3-A.Kesselman.pdf
F4 - Photo Storage at Facebook
MythbustingFlash_081011v1.ppt