ZPAQ
Incremental Journaling Backup Utility and Archiver zpaq is a free and open source incremental, journaling command-line archiver for Windows, Linux and Mac OS/X. Incremental means that when you back up your hard drive, for example: zpaq add e:\backup.zpaq c:\* then only those files whose last-modified date or size has changed since the previous backup are added. For 100 GB of files, this typically
[P2PストレージLifeStuffの仕組み] Self-Encryption法によるデータ重複排除機構
LifeStuffは、ユーザのデータを暗号化してP2Pネットワーク上に保存するサービスです。このとき、「ユーザが保存するデータの75%から90%は重複している」という性質を利用し、同じデータを保存しないようにして、ストレージの節約を行います。しかし、誰かが暗号化して保存したファイルと、自分が暗号化して保存しようとしているファイルが「同じである」と、一体どのようにして見分けられるというのでしょうか（次画像・画像の説明は本文にて）。 ↓素朴なやり方ではうまく重複排除できない↓ 今回は、この問題を解決するためにLifeStuffが利用している技術Self-Encryptionについて、そのアイディアとエッセンスを紹介したいと思います。 私はこの方式を知ったとき「なるほど！」と思いました。この説明を読んだ方にも「なるほど！」と思っていただけると嬉しいです。 LifeStuff社の情報に、そうなった
![[P2PストレージLifeStuffの仕組み] Self-Encryption法によるデータ重複排除機構](https://cdn-ak-scissors.b.st-hatena.com/image/square/45929947fc2d0b34c4fd1e8d6b846bc457a4575d/height=288;version=1;width=512/https%3A%2F%2Fdid2memo.net%2Fwp-content%2Fuploads%2F2012%2F09%2Flifestuff-methods-deduplication-using-self-encryption-naive-encryption-cannot-deduplicate-500x3751-300x300.png)
HDDが買えないならZFSを使えばいいのに
タイの洪水被害の影響でハードディスク（HDD）の価格が高止まりしている。パーツショップでの実売価格は急騰前の3倍程度にまで跳ね上がり、今でも2倍弱の価格をつけている。5000円台で2TバイトのHDDが買えた記憶が新しいユーザーにとっては買い控えたくなる水準だ。フラッシュメモリーによる半導体ストレージであるSSDの容量単価は下落する一方だが、HDDが買えないならSSDを使えばいいのに…と言えるほどSSDは安くない。 もちろん、データの増加は待ってくれない。記者の自宅には、主にファイルサーバーとして利用するLinuxサーバーがある。タイ大洪水以前に約7000円で購入した1Tバイトの2.5型ハードディスクをストレージに充てた。写真1枚が10Mバイト近くある今の利用環境では、みるみる空き容量が減っていく。どのコンテンツもときめくものばかりで、整理には限界がある。「では増設」と思い立っても、HDDは
ddar: de-duplicating archiver
ddar ddar is a free de-duplicating archiver for Unix. Save space, bandwidth and time by storing duplicate regions of data only once. Use ddar to: Back up local data to a remote server, each time saving space, upload bandwidth and time by only transferring data not already present on the remote server. This is what cloud backup services like Tarsnap allow you to do already. Now you can use your own
lessfs を試す
Linux Jornalのコラムに惹かれてlessfsを試してみたくなった。 ちなみに、lessfsは「Deduplication」(ファイル重複除外?)を目的としたfuse。 他にも暗号化機能、レプリケーション機能(MasterSlave)や圧縮ストレージ機能もあって、 圧縮フォーマットにはLZO、QuickLZ、BZipその他色々あるらしい。 Deduplication自体は、一部で熱いらしいBtrfsやZFSにも搭載されている。 ２つとも色々と問題があって、あまり簡単には導入出来ない。 そこでlessfsの登場。 fuseなだけに他のfuse系同様のボトルネックはあるものの、 アーカイブ用途ならパフォーマンス問題は少ないと思われる。 おまけでLinux Jornalでは、Opendedup も触れられていた。 こっちは、Javaかつシステムリソースの要求スペックが高いので論外。 le
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
duplicati - Project Hosting on Google Code
s3ql - Project Hosting on Google Code
