AWSが拓いたLustreファイルシステム新時代 -1- | HPCシステムズ Tech Blog
はじめに HPCとはHigh Performance Computingの略で、一般には科学技術計算を意味すると認識されています。ところが、この中にどこにも「科学」とか「技術」とかの単語はありません。HPCの定義として高速にデータ処理をするもの全般として広くとらえた方が良いと、ずっと個人的には考えていますが、まだまだ一般的な考え方とは言えないのが現状です。 さて、最初にAWSがLustreをやると聞いた時は、旧来のHPC以外の人はそもそもLustreなんて知らないし、使う理由もないのでは？と思っていました。実際、Lustreをメインのストレージとして使うには初期投資が大きくなりがちで、性能要件から構成を決定する必要もあり、大容量(数百TB〜数PB)が前提となるため、クラウドに組み込むには面倒なわりに、多くのケースにフィットしないように思えます。実際、かなり以前からMarketPlaceにA
lessfs
lessfs – A high performance inline data deduplicating filesystem for Linux. lessfs is released under the GNU GPLv3 license and can be downloaded from: http://sourceforge.net/project/showfiles.php?group_id=257120 Read the rest of this entry » This new release improves performance in general. It adds a new storage method for the data that is stored. Previous lessfs versions would store the data in
Barriers and journaling filesystems [LWN.net]
LWN.net needs you!Without subscribers, LWN would simply not exist. Please consider signing up for a subscription and helping to keep LWN publishing Journaling filesystems come with a big promise: they free system administrators from the need to worry about disk corruption resulting from system crashes. It is, in fact, not even necessary to run a filesystem integrity checker in such situations. The
Softupdate のひみつ
最近の Unix では、UFS (スーパープロックとデータブロックがあるいわゆる Unix のファイルシステム)に対して、sync、async、softupdate という書き込み方があります。特徴を表にすると以下のようになります。 速度 安全性 sync 遅い 安全 async 速い 危険 softupdate 速い 安全 まず速度。メモリへの書き込みは速いが、ディスクへの書き込みは遅いというのが大前提です。速度を向上するには、ディスクの内容をメモリにキャッシュし、メモリを書き換えることで、書き込みの速度を向上させます。これを定期的にディスクに書き出します(delayed write)。昔は、update デーモンくんが 30 秒に一回書き出していました。 次に安全性ですが、 ファイルシステムの構造を維持できること だとします。(ファイルの内容が壊れないことじゃないよ。) 具体的には、
The Z File System (ZFS)
20.2 The Z File System (ZFS) The Z file system, developed by Sun™, is a new technology designed to use a pooled storage method. This means that space is only used as it is needed for data storage. It has also been designed for maximum data integrity, supporting data snapshots, multiple copies, and data checksums. A new data replication model, known as RAID-Z has been added. The RAID-Z model is sim
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Over2TB - wiki@nothing
さらに分かっておきたいトランジスタの種類 − ＠IT MONOist