サン・マイクロシステムズのZFSに重複排除機能(dedupe:deduplication)が搭載されたとのこと(本家/.記事より)。 ZFSでは処理能力は要さないが効率の悪いファイル単位のdedupeではなく、高い処理能力を要するがバーチャルマシンイメージなどに適しているとされているブロック単位のdedupeが実装された。DedupeはSHA256ハッシュを使うとのことで、ZFSの256bitチェックサムとマップできるとのこと。マルチコアサーバなど処理能力の高いマルチスレッドOS上で走っていることを前提に、Dedupeはインラインで実行される仕様だそうだ。 仕様詳細やインプリ方法はJeff Bonwick氏のブログに掲載されているのでご確認を。