2009年12月15日 ≪注目≫FreeBSD UFS+Softupdateにミニジャーナリングを追加してバックグラウンドfsckを不要にする取り組み | gihyo.jp
FreeBSD Daily Topics 2009年12月15日≪注目≫FreeBSD UFS+Softupdateにミニジャーナリングを追加してバックグラウンドfsckを不要にする取り組み heads-up Journaled Softupdates Hybrid system current - Jeff Roberson氏およびKirk McKusick氏がFreeBSD UFS/Softupdatesに最小限のジャーナリング機能を追加することで、バッググラウンドfsckを不用にするための取り組みをしていると発表しています。2009年12月の間には9-CURRENTにコードをマージするとしており、向こう2週間の間にはソースコードを公開すると説明されています。 jeffr_tech: Journaling softupdates, SU+J jeffr_tech: What's in
ZFS の性能劣化: uyota 匠の一手
ZFS は古いファイルシステムに無かった物を新しく作ったファイルシステムだ。しかし、古いファイルシステムから学ばずに醜い性能劣化をみせることもある。 UFS を始め FFS を基としたファイルシステムには、性能の劣化を防ぐ為にある程度の余裕が取られている。FreeBSD の UFS ではディスクの全てを使わずに、8% 分が予約領域として確保されている。その予約部分は root しか書き込めない。実体験としては 5% ぐらいまでなら問題は無く、3% ぐらいまで減らしてもファイルシステムとしては使える。 しかし、ZFS にはこの様な予備分は確保されていない。そのため、利用率が 95% を過ぎる頃からパフォーマンスが落ち始める。97% を越えた辺りからファイル操作が劇的に遅くなり、既にこの時点で普通の十倍以上の時間が掛かるようになっている。99% を過ぎる時には非常に醜い事態になる。この辺りにな
Japan WDK Support Blog - Site Home - MSDN Blogs
日本マイクロソフト株式会社の DDK/WDK サポートチームの blog です。 Japan WDK Support Blog 終了のお知らせ こんにちは、Windows Driver Kit サポートチームです。 2019 年1 月をもちまして、弊社システム刷新の都合により、本Blog を終了いたします。... Author: jpwdkblg Date: 12/26/2018 Authenticode 署名のドライバインストールのトラブルシューティングの一例 Authenticode 署名のドライバインストールのトラブルシューティングの一例をご紹介します。... Author: jpwdkblg Date: 09/27/2018 プリンタードライバーの GPD ファイル記述に関する注意事項 今回は Universal プリンタードライバーにて記述を行う GPD ファイルの記述に関する注
Solaris ZFSの基本的な仕組みを知る
本連載では、Solaris ZFS (以下 ZFS) の基本的なコンセプトやアーキテクチャから、その機能や実用・応用例を解説するという流れでZFSをご紹介させていただきます。 今回は、ZFSの基本的コンセプトとアーキテクチャの解説です。 Zの文字に込められた意味 ソースコードの複雑化と、扱うデータ量の増大に伴い、既存のファイルシステムでは管理性、拡張性、安全性、完全性、機能、性能が問題となることが多くなってきました。このような中、サン・マイクロシステムズ（以下、サン）のエンジニアチームは、まったく新しい、まるでコンピュータのメインメモリのように扱えるファイルシステムの開発を始めました。 目的は、既存のファイルシステムが抱える問題点をすべて解決し、管理が容易で、拡張性があり、安全でかつ完全性が保持され、便利な機能を持ち、高性能な、ある意味、究極のファイルシステムを作ることでした。 ZFSの「
Linux用次世代ファイルシステム「btrfs」が統合へ － ＠IT
2009/01/13 Linux向けの次世代ファイルシステム「btrfs」（バターファイルシステム）を開発する米オラクルのクリス・メイソン（Chris Mason）氏は1月12日、最新版のバージョン0.17をリリースした。btrfsはこのバージョンで、初めてリーナス・トーバルス（Linus Torvalds）氏が管理する開発版のカーネル2.6.29-rc1に取り込まれた。 btrfsはコピー・オン・ライトと呼ばれるテクニックを使った新しいファイルシステムで、2007年8月にオラクルが発表。大規模なストレージ管理に必要な機能を備えたファイルシステムを目指し、GPLで開発が進められている。コピー・オン・ライトにより、内容が同じである限り、実データの複製をディスク上に作らずにファイルやディレクトリを作成することができる。 例えばシステム全体のスナップショットを作成し、そのスナップショットに対して
【レポート】PUFFS、カーネルとユーザランドでFS実現 - 短縮パスで高速化も (1) ファイルシステムをユーザランドサービスへ | エンタープライズ | マイコミジャーナル
10月18、19日の2日間、フランスのストラスブールにおいて「EuroBSDCon 2008」が開催された。本誌では、同カンファレンスの中から特に興味深いセッションをピックアップしてお伝えしていこう。 EuroBSDCon 2008はフランスのストラスブールで開催 ファイルシステムをユーザランドサービスへ File Systems As ServicesとしてAntti Kantee氏からPUFFS(Pass to Userspace Framework File System)が発表された。Antti Kantee氏はNetBSDのファイルシステムまわりでアクティブに開発を行っているデベロッパだ。 ちなみにNetBSDは2008年7月から8月にかけてFFS(Fast File System)に対するメタデータジャーナリング機能(WAPBL - Write Ahead Physical B
ReiserFSの作者、殺人容疑を認める - Linuxにも影響? | エンタープライズ | マイコミジャーナル
Linux用ファイルシステム「ReiserFS」の開発で知られるプログラマーHans Reiser氏が、妻Ninaさんの殺害を認める供述を始めた。米国西海岸の主要日刊紙San Francisco Chronicleが7日、同紙およびWebサイト「SFGate」を通じて明らかにしたもの。 同紙の報道によれば、Hans Reiser氏はNinaさん殺害を認めるとともに、遺体を遺棄した場所の情報を捜査当局に明かすことに同意したという。氏は第1級殺人で有罪の評決を受けているが、証言と引き換えに刑期が15年程度の第2級殺人が適用される司法取引に応じた、としている。 Hans Reiser氏は、Linux向けに実装されたオープンソースのジャーナリングファイルシステム「ReiserFS」、および後継の「Reiser4」を開発したプログラマ。夫人のNinaさんとは別居状態にあったが、2006年9月を最後に
どさにっき
2008年1月11日(金) ■ 無題 _ ここ数日ほど帰ってくると毎日同じ人、でも知らん人から留守電が入ってる。内容からして明らかに間違い電話なんだけど、けっこう切実に連絡を取りたがってる模様。どうしたもんかね。どうしようもないけど。 ■ エンベロープを書き換えて転送 _ きのうの補足。 といっても、ふつーの ISP で envelope from を書き換えてから別アドレスに送り直すような設定ができるところなんかたぶんないけどな。 転送設定が ISP おまかせではなく、自前で書けるならなんとでもなる。 _ postfix での .forward の書き方。sendmail では動かないはず。ユーザ hoge (hoge@example.jp) が fuga@example.com に転送する例。 | "test -z \"$SENDER\" || /usr/sbin/sendmail -
DragonFly BSDのMatthew Dillon氏、"HAMMER Filesystem"のコミット開始へ | エンタープライズ | マイコミジャーナル
The DragonFly BSD Projectの主要開発者であるMatthew Dillon氏は10日(太平洋夏時間)、開発者向けのカーネルメーリングリストにおいて、向こう2ヵ月にわたって「HAMMERファイルシステム」のコードをコミットしていくことを発表した。同成果物はDragonFly BSDの次期メジャーバージョンである2.0のリリースが近づく2007年12月ごろまではそのままでは使えない状態にされる。2.0以降はβクオリティで使えるようになるとみられる。 "HAMMERファイルシステム"は同氏が1年ほどを費やして設計してきた新しいファイルシステム。同種と言えるかどうかわからないが、似た性質のファイルシステムにZFSがある。DragonFly BSDの派生元であるFreeBSDはZFSを移植している。同氏はZFSが素晴らしいものだとしながら、冗長性がありすぎる点を指摘し、新しく"
ITmedia : Undocumented Mac OS X 第7回 : HFS、HFS Plusの基本的概念【前編】
第7回 HFS、HFS Plusの基本的概念【前編】：Undocumented Mac OS X（1/4 ページ） Mac OS XのデフォルトファイルシステムHFS Plus。今回はその基本的概念をはじめ、HFSおよびHFS Plus共通の機能を解説する。 Mac OS Xは、さまざまなファイルシステムをサポートしている。NeXT由来のUFS、旧Mac OSでメインのファイルシステムだったHFSとその拡張版HFS Plus、CD-ROMで用いられるISO9660形式や、Windowsはもちろんデジタルカメラ向けメモリカードでも用いられデファクトスタンダードとなっているFAT、さらにはWindows 2000/XPで標準的なNTFSまで扱える。 そうした中でも、Mac OS X自身をインストールできるMac OS Xネイティブのファイルシステム*といえるのが、今回と次回で紹介するHFS P
netswitch! | ext3 vs ReiserFS
Posted by nanki Wed, 08 Aug 2007 02:51:00 GMT ReiserFSは、ファイル名の探索にツリーを使うので、ひとつのディレクトリに大量にファイルを放り込んだ時などは、探索時間がかなり速くなるという。(extは線形サーチ) かなり大量の画像を作成することになったので、どのくらい遅くなるのか気がかり。 レンタルサーバのHDDのファイルシステムを変更するわけにもいかないけど、原理的にはループバックマウントでも速くなるじゃん、と思いあたったので調べてみる。 下準備 想定する実環境は、大量の画像のうち何枚かをリクエストに応じて返すWebサーバ、画像のアクセスに偏りあり。 ext3上で、15KBの画像ファイルを、1, 1k, 100k個、同じディレクトリにコピーして1000回、ランダムなファイル名にアクセスしてみる。 # ランダムアクセス、中身は読まない。 $
FreeBSD tmpfs: uyota 匠の一手
7.0-CURRENT で tmpfs が使えるようになったので実験してみた。 tmpfs はシステムコールを通して実装されているので、mount_tmpfs はない。mount に -t でファイルシステムの型を指定する。今のところ、tmpfs の存在はどこにも記述されていないので、ソースを読むか、出どころの NetBSD を見るかのどちらかになる。 # uname -r -s FreeBSD 7.0-CURRENT # mount -t tmpfs none /mnt/tmp # df /mnt/tmp Filesystem 1K-blocks Used Avail Capacity Mounted on tmpfs 1763824 4 1763820 0% /mnt/tmp # vmstat procs memory page disks faults cpu r b w avm f
tmpfs が移植されているらしい: uyota 匠の一手
最近、tmpfs が FreeBSD に移植されているらしいのを見つけた。tmpfs.h には、まだ実験段階だとある。また、TMPFS - FreeBSD Wiki もある。NetBSD からの移植のようだ。 元々、tmpfs を愛用しているので、FreeBSD でも使えるようになるのは、喜ばしいことだ。現在でも mdconfig を通してメモリディスクを作り、マウントする方法がある。この場合に作られるのはデバイスであり、ファイルシステムではない。そのため、メモリが不要になっても free() されずに残る。物理デバイスなどにでは、到底及ばないスピードは出せるものの、メモリに積もっていく、削除されたファイルが占める領域がシステムを圧迫していく。 次回。
Leopardのデフォルト・ファイルシステムはZFS――SunCEO、Appleの“秘密”を事前リーク、一部ブロガーは「Mac OS X Serverのほうが先」と懐疑的 | OSDN Magazine
米国Sun MicrosystemsのCEO、ジョナサン・シュワルツ氏は6月6日、Appleが今秋に出荷を予定している「Mac OS X 10.5」（開発コード名：Leopard）のデフォルト・ファイルシステムに、従来のHFS+（Hierarchical File System Plus）に代わってSolarisのZFS（Zettabyte File System）が採用されると語った。しかし、Appleの動向に詳しい一部のブロガーは、この情報に懐疑的な見方を示している。 ZFSは、Sunが自社OSのSolaris用に設計した128ビットのファイルシステムで、オープンソース・ソフトウェアとしてライセンスされている。ZFSはプールド・ストレージなどの機能をサポートしており、ボリュームやパーティションなどのストレージ・パラメータに気を遣うことなく、ドライブをプラグインして簡単にストレージ・スペ
LogFS：新方式のフラッシュファイルシステム | OSDN Magazine
各ストレージ機器メーカーがソリッドステートディスクの出荷体制を整えつつあるためか、One Laptop Per ChildのXOやIntelのClassmateのようなLinuxベースのマシンには標準的なハードディスクが搭載されていない。現在入手可能な多様なフラッシュメモリ式ストレージデバイスのパフォーマンスを向上させるために、フラッシュデバイス専用のスケーラブルなファイルシステムLogFSがプロジェクトリーダのJörn Engel氏によって披露された。 既にLinuxユーザには、JFFS2とYAFFSという成熟した2つのフラッシュファイルシステムの選択肢がある。それなのになぜ、また新たなファイルシステムが必要なのだろうか。Engel氏がこれらの選択肢のどちらをも尊重しないのには、数々の理由がある。YAFFSについては「カーネルとの統合を本気で試みた形跡がなく」、多くの潜在的ユーザにとって
Linux の close は fsync 相当を調べる - naoyaのはてなダイアリー
Linuxのcloseは暗にfsyncするから、ここであげられている 100000回繰り返し open 8K write close というパターンだとfsyncコストが見えちゃうので良くないんじゃないかな とのことで、そうなのか! と思ったので例によって深追いしてみました。 まず fsync(2) の実装は fs/sync.c にあります。 asmlinkage long sys_fsync(unsigned int fd) { return __do_fsync(fd, 0); } static long __do_fsync(unsigned int fd, int datasync) { struct file *file; int ret = -EBADF; file = fget(fd); if (file) { ret = do_fsync(file, datasync);
分散ファイルシステム - Plan9日記
前にひらさんが、「分散OSと透過性」とか、「ファイルシステムの面白さに目覚めた」という話を書かれていたので、ファイルシステムから見た分散OSの透過性について何か書けないかなと思いながら、日記自体の更新が止まっていた。 ファイルシステムの仕事は簡単に言うと次の三つに集約できる。 名前管理 ファイル操作 領域管理 名前管理とは名前空間の管理、すなわち、ファイル名とファイルの実体の対応を管理すること。UNIXならファイル名とinodeの対応になる。ファイル操作とは、open-read-write-closeといった操作を提供すること。領域管理はファイルをどのディスクブロックに割り当てるか対応づけること。これらはローカルファイルシステムも分散ファイルシステムも同じである。 分散OSで特に重要になるのが名前管理である。名前空間をどのように構築するかには二つのアプローチがあって、Amoebaのようにシ
64bitファイルシステム XFSの実装
XFSの歴史 XFSはSilicon Graphics（以下SGI：編注）が開発したジャーナリングファイルシステムである。XFSの開発が開始された当時、SGIはすでにEFS（Extent File System）というファイルシステムを持っていた。SGIがXFSで目指したものは、次世代の拡張性を考慮した64bitファイルシステムを新規開発することだった。 XFSは、1994年後半にリリースされたIRIX 5.3（IRIX 5.3 with XFS）に初めて搭載された。1996年にIRIX 6.2がリリースされると、全SGIシステムに標準でインストールされるようになった。1999年前半にはLinuxへ移植され、GPL（GNU General Public License）の下でオープンソースとして公開された。 最初のLinux用XFSであるXFS 1.0 for Linuxは、カーネル2.4
フラグメントとは - メモ帳
また、fsck を使うと、 % fsck (中略) 33527 files, 581040 used, 1491171 free (17803 frags, 184171 blocks, 0.9% fragmentation) ↑これ などと表示されますが、これは「どれくらいファイルブロックが分散してしまったか」を表すものではなく、「ディスク領域を有効に使うために、どれくらいファイルブロックを分割しているか」というものを意味しています。この値が高いからと言って、パフォーマンスの低下につながるわけではありません。 http://www.jp.freebsd.org/QandA/HTML/457.html fsck で表示される fragment って一つのディスクブロック(4, 8kぐらい)をまるごと使わずにフラグメント単位(512 or 1024byteが多い)で利用している割合の表示だっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ReiserFSの開発者、殺人罪で有罪 | スラド Linux