Facebook’s photo storage rewrite
This week Facebook will complete its roll-out of a new photo storage system designed to reduce the social network’s reliance on expensive proprietary solutions from NetApp and Akamai. The new large blob storage system, named Haystack, is a custom-built file system solution for the over 850 million photos uploaded to the site each month (500 GB per day!). Jason Sobel, a former NetApp engineer, led
Needle in a haystack: efficient storage of billions of photos
Facebookにログインして、友達や家族と写真や近況をシェアしましょう。
[cagra] cagra: Reliable and Flexible Distributed Storage System
やっと開発が一段落したのでお知らせ。frsyuki氏(id:viver)との共同開発作品。 1000speakers:2の３次会で二人でひたすら組んでいたアレです。 Trac: http://nyaxtstep.com/trac/nxfs 概要 cagraは手軽に構築できる分散ストレージシステムです。 memcachedの様な手軽さで、信頼性のある分散ストレージを構築できます。 機能／特徴 zeroconf 設定項目はコマンドラインパラメータに集約 UDP Multicastによる自動ノード検出 Large Data Support memcachedに比べ、大きなデータもきちんと取り扱う事ができます。 データごとのチェックサムを保持します。 数百G〜Terabyteスケールのデータもサポートする予定 可変信頼性 データに求める信頼性（レプリケーション数）をデータごとに設定することができま
![[cagra] cagra: Reliable and Flexible Distributed Storage System](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Finding a needle in Haystack: Facebook’s photo storage Doug Beaver, Sanjeev Kumar, Harry C. Li, Jason Sobel, Peter Vajgel, Facebook Inc. {doug, skumar, hcli, jsobel, pv}@facebook.com Abstract: This paper describes Haystack, an object stor- age system op
