ZFSの重複ファイル節約機能dedupがすげえ（ただしメモリ大尽に限る） - 春木屋
最初にお断りするが、十分なメモリ、あるいはSSDをお持ちでない方は帰っていただいて結構です。 Dedupとは ZFSにはdedupという機能がある。 その機能を有効にすると、例えばここに1GBのファイルが一つあるとして、それをコピーしても、場所が同じpool内である限り、1GBのディスクしか消費しない。 何それただのハードリンクと思うのは早い。 仮に同一のファイルA, Bがあるとする。いずれも1GB。 ハードリンクすればディスク消費量は1GBだ。 さてここで、ファイルBの一部、1bitだけを変えたいとする。 もはやハードリンクはできず、別個のファイルとして扱うことになる。 したがってディスク消費は2GB。 ではdedupだとどうなるか。 1bit違う1GBのファイル二つがあっても、なんと1GBと128KBだけしかディスクを消費しないという驚きの仕組み。 どういうことかというと、dedupは
CS 6V81--005: System Security and Binary Code Analysis
Monday and Wednesday: 1:00pm-2:15pm SOM 2.903 $Id: spring2012.t2t, v1.0, last updated Wed May 16 10:40:12 2012 Exp $ Course Overview CS-6V81 is a graduate level, research oriented, system and software security course. The goal of this course is to explain the low-level system details from compiler, linker, loader, to OS kernel and computer architectures, examine the weakest link in each system com
naoyaのはてなダイアリー - tmpfs は本当に容量が動的なのか
Linux には tmpfs という便利なファイルシステムがあります。 $ mount -t tmpfs -o size=64m tmpfs /dev/shm $ mount -t tmpfs -o size=64m /dev/shm /var/tmpとすると、/var/tmp がディスク上ではなくメモリ上に作られたファイルシステムとして mount されます。なので、/var/tmp は I/O 時にディスクI/Oが一切発生しない高速なディスクとして使えると。いわゆる RAM ディスク。(もちろんサーバーの電源を落とすと保存したファイルは消えます。) この tmpfs はなかなかに便利で、キャッシュとかそういうものでディスクにおいてたものここ置くと、ディスク I/O がカットできて超高速になります。はてなでは MySQL のスレーブの MyISAM のファイルを tmpfs において、オ
Parallel I/O Benchmarks, Applications, Traces
Below is a list of parallel I/O benchmarks, applications, and traces I am aware of (in no particular order). Let me (Rajeev Thakur) know if you have any additions or corrections to the list. Updated: July 18, 2023 H5bench: A Parallel I/O Benchmark Suite for HDF-5 https://github.com/hpc-io/h5bench DLIO Benchmark for Scientific Deep Learning Applications https://github.com/hariharan-devarajan/dlio_b
FrontPage - 詳解ファイルシステム - livedoor Wiki（ウィキ）
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 FrontPage 最終更新： linuxfs 2009年01月19日(月) 16:03:10履歴 Tweet 詳解ファイルシステム ファイルシステム諸元 subcontentsファイルシステム諸元性能比較パーティション用語集OOMkillerkernelSELinuxgitskillcheckKDBJapanese Linux hackerext3/4最新情報Hans Reiser情報Committerfeature-removal-scheduleTODO中の人OSC2007 Tokyo/FallOSC2008 Tokyo/FallOSC2009 Tokyo/Fall ファイルシステム詳解 filesystem contents注目度の高いファイルシステムvfsext3ext4reise
Filesystem Hierarchy Standard
Introduction This page is the home of the Filesystem Hierarchy Standard (FHS). The current version is 2.3. It was announced on January 29, 2004. The filesystem standard has been designed to be used by Unix distribution developers, package developers, and system implementors. However, it is primarily intended to be a reference and is not a tutorial on how to manage a Unix filesystem or directory hi
Home - Ceph Wiki
On June 2021, we’re hosting a month of Ceph presentations, lightning talks, and unconference sessions such as BOFs
Virtual Storage Access Method - Wikipedia
Virtual Storage Access Method ( VSAM、ぶいさむ、仮想記憶アクセス方式) は、オペレーティングシステム OS/VS2 で初めて使われ、後に MVS 、z/OSで使われ続けている IBM が提案したディスクファイルストレージの方式 (ファイル編成法) である。 VSAMは当初からトランザクショナルファイルとしてメインフレームのデフォルトの Resource Manager（RM）を構成していた。IBMメインフレームでは Transaction Manager（TM）さえ付加すれば VSAM でトランザクション処理が可能だった。そのためにz/OSは非常に高価なライセンス料だった。IBMは2002年にz/OSの低価格版z/OS.eをリリースするに当たって、わざわざUNIX系OSと同じように、TMとしてCICS、IMSを RMとして直接にVSAMを利用できない仕様
sshfs has moved
This page has moved to http://github.com/libfuse/sshfs.
Btrfs - Wikipedia
Btrfs（B-tree file system : バター エフエス、またはB木 『ビーツリー』 エフエスと読む[1][2]）はLinux向けのコピーオンライトのファイルシステムで、オラクルによって2007年に発表されGNU General Public License (GPL) の元で公開されている[3]。 Btrfsはサン・マイクロシステムズのZFSファイルシステムの影響を受けて開発され、スナップショットやコピーオンライトの機能を持ち、他のLinuxファイルシステムが現在持っている多くの制約を受けないことが期待されているが、開発を主導したオラクルにとっては、2010年のサン・マイクロシステムズ吸収合併により、ZFSと社内で競合する技術になってしまっている。 概要[編集] ext3とext4ファイルシステムの開発者セオドア・ツォー (Theodore Ts'o) は、Btrfsには「
VFSとファイルシステムの基礎技術
現在のLinuxは、複数のファイルシステムが選択できる。だが、どれを選べばよいのだろうか？ ファイルシステムにはそれぞれ特性がある。本連載では、基礎技術から各ファイルシステムの特徴、パフォーマンスを検証する。（編集局） カーネル2.4から、Linuxは本格的にエンタープライズを意識したOSとしての機能を備えるようになった。その特徴の1つがファイルシステムの信頼性である。Linuxの場合、当初に実装されたext2からジャーナリングファイルシステムであるext3やReiserFS、そして商用ファイルシステムとして発展してきたJFSやXFSが取り込まれ、複数のファイルシステムが選択できるようになっている。 本連載は、これらのファイルシステムの違いを把握し、ファイルシステムを選択するための指針となるような情報を提供する。 ファイルシステムとは 私たちは通常、データの「読み込み」「書き込み」などの操
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HDFS Federation
(writeboost report) LinuxCon Europeにおけるwriteboostへのコメント - テストステ論
http://www.redhat.com/mirrors/LDP/LDP/tlk/fs/filesystem.html
PVFS.org
Charming Python: Functional programming in Python, Part 3
http://www.nilfs.org/ja/