Cache replacement policies - Wikipedia
This article is about general cache algorithms. For detailed algorithms specific to paging, see page replacement algorithm. For detailed algorithms specific to the cache between a CPU and RAM, see CPU cache. In computing, cache replacement policies (also known as cache replacement algorithms or cache algorithms) are optimizing instructions or algorithms which a computer program or hardware-maintai
Erasure Coding in Windows Azure Storage | USENIX
Cheng Huang, Huseyin Simitci, Yikang Xu, Aaron Ogus, Brad Calder, Parikshit Gopalan, Jin Li, and Sergey Yekhanin, Microsoft Corporation Awarded Best Paper! Windows Azure Storage (WAS) is a cloud storage system that provides customers the ability to store seemingly limitless amounts of data for any duration of time. WAS customers have access to their data from anywhere, at any time, and only pay fo
Rolling hash - Wikipedia
A rolling hash (also known as recursive hashing or rolling checksum) is a hash function where the input is hashed in a window that moves through the input. A few hash functions allow a rolling hash to be computed very quickly—the new hash value is rapidly calculated given only the old hash value, the old value removed from the window, and the new value added to the window—similar to the way a movi
T-tree - Wikipedia
This article relies largely or entirely on a single source. Relevant discussion may be found on the talk page. Please help improve this article by introducing citations to additional sources. Find sources: "T-tree" – news · newspapers · books · scholar · JSTOR (June 2013) An example T-tree In computer science a T-tree is a type of binary tree data structure that is used by main-memory databases, s
High Performance Content Defined Chunking
In Pcompress, I have implemented a variant of the rolling hash based Content Defined Chunking that provides both deduplication accuracy and high performance. This post attempts to explain the chunking process, covers the chunking computations that are done in Pcompress and then talks about the new optimizations for very fast sliding window chunking (on the order of 500MB/s to 600MB/s throughput de
A Fast, Minimal Memory, Consistent Hash Algorithm ご紹介(システム系論文紹介 Advent Calendar 2014）. - Qiita
A Fast, Minimal Memory, Consistent Hash Algorithm ご紹介(システム系論文紹介 Advent Calendar 2014）.hashシステム系論文紹介分散ストレージjumpconsistenthash (本稿は, システム系論文紹介 Advent Calendar 2014, 12/20 です http://www.adventar.org/calendars/440) 論文は arXiv から取得できます. http://arxiv.org/abs/1406.2294 Jump Consitent Hash と呼ばれる, 分散ストレージ系で有益なハッシュ関数を求めるアルゴリズムです. 現在史上最強のハッシュアルゴリズムのひとつと言えるでしょう. 無性に分散ストレージライブラリを作りたくなってきますね! 共著者の Eric Veach にも注
Rabin fingerprint - Wikipedia, the free encyclopedia
The Rabin fingerprinting scheme (aka Polynomial fingerprinting) is a method for implementing fingerprints using polynomials over a finite field. It was proposed by Michael O. Rabin.[1] Given an n-bit message m0,...,mn-1, we view it as a polynomial of degree n-1 over the finite field GF(2). We then pick a random irreducible polynomial of degree k over GF(2), and we define the fingerprint of the
Quotient filter - Wikipedia
A quotient filter is a space-efficient probabilistic data structure used to test whether an element is a member of a set (an approximate membership query filter, AMQ). A query will elicit a reply specifying either that the element is definitely not in the set or that the element is probably in the set. The former result is definitive; i.e., the test does not generate false negatives. But with the
[P2PストレージLifeStuffの仕組み] Self-Encryption法によるデータ重複排除機構
LifeStuffは、ユーザのデータを暗号化してP2Pネットワーク上に保存するサービスです。このとき、「ユーザが保存するデータの75%から90%は重複している」という性質を利用し、同じデータを保存しないようにして、ストレージの節約を行います。しかし、誰かが暗号化して保存したファイルと、自分が暗号化して保存しようとしているファイルが「同じである」と、一体どのようにして見分けられるというのでしょうか（次画像・画像の説明は本文にて）。 ↓素朴なやり方ではうまく重複排除できない↓ 今回は、この問題を解決するためにLifeStuffが利用している技術Self-Encryptionについて、そのアイディアとエッセンスを紹介したいと思います。 私はこの方式を知ったとき「なるほど！」と思いました。この説明を読んだ方にも「なるほど！」と思っていただけると嬉しいです。 LifeStuff社の情報に、そうなった
![[P2PストレージLifeStuffの仕組み] Self-Encryption法によるデータ重複排除機構](https://cdn-ak-scissors.b.st-hatena.com/image/square/45929947fc2d0b34c4fd1e8d6b846bc457a4575d/height=288;version=1;width=512/https%3A%2F%2Fdid2memo.net%2Fwp-content%2Fuploads%2F2012%2F09%2Flifestuff-methods-deduplication-using-self-encryption-naive-encryption-cannot-deduplicate-500x3751-300x300.png)
Ke Yi's Research Page
Publications [My DBLP entry] Disclaimers: The materials below have been provided by the author(s) as a means to ensure timely dissemination of scholarly and technical work on a noncommercial basis. Copyright and all rights therein are maintained by the author(s) or by other copyright holders, notwithstanding that they have offered their works here electronically. All persons copying this informati
fujimap: 簡潔な連想配列 - DO++
博論終わったので仕事の合間にfujimapというライブラリを作ってみました。 fujimap project fujimapは作業領域が非常に小さい連想配列で、文字列からなるKeyを利用して、整数値もしくは文字列からなるValueを登録・参照することができるライブラリです。 今巷では大規模なKey Value Stroe (KVS)が流行っていますがFujimapは一台のマシンのメモリ上で動作することを想定して作成されています．Fujimapの特徴は必要な作業領域量が非常に小さいことです．キー自体を明示的に保存しないため、作業領域は値を格納するのに必要なサイズと、許容するfalse positive（後述）にのみ依存します。 例えば、google N-gramのunigramの約1300万キーワードとそれらの頻度の対数を記録する場合、false positiveを気にしないなら、一キーワー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - wangziqi2016/index-microbench
GitHub - efficient/SuRF: First Practical and General-purpose Range Filter
https://dl.acm.org/citation.cfm?id=3026969
http://ekmett.github.io/presentations/Cache-Oblivious%20Data%20Structures.pdf
Plank Software
Zpacr: A C Library in Searching for the Optimal Single-Disk Failure Recovery Solution for XOR-based Erasure Codes
Welcome
CS-07-603
librs