【レポート】ZFS、Linuxで登場へ | エンタープライズ | マイコミジャーナル
ZFS is a new kind of file system that provides simple administration, transactional semantics, end-to-end data integrity, and immense scalability. FreeBSDにZFSが移植されてから、ZFSについてMLで話題がでない日はないほどFreeBSD開発者やユーザの間でZFSが関心ごとであり続けている。もしかするとこれと同じことがLinuxでもおこるかもしれない。GPLとの衝突を避けるためにLinuxにおけるZFS導入はFreeBSDほど導入は簡単にならないが、Linuxでネイティブに使えると使えないのとでは大きな差がある。 9月15日ごろにZFS Linuxカーネルモジュールが公開される可能性があることがPhoronixの記事Native ZFS
Hideki's Blog 2nd: ext3 をwriteback にした。
自作PC構築、Linux/Windowsサーバー・NW構築、本の紹介、ロードバイクの事など。普段思ったことを書いているサイトです。 ファイルシステムのチューニングをしてなかったので変更した。 writeback にするとクラッシュ時に古いデータに変わる可能性があるらしい。 故障率と速度の具合を考えたが、少し古いデータになるぐらいはかまわないかなとか 思ったり(´д｀) drk7.jp Linux チューニング - Ext3 のパフォーマンスを最大化させる mixi Engineers'Blog Tokyo Tyrantによる耐高負荷DBの構築 下記を設定。 /etc/fstab LABEL=/ / ext3 defaults,noatime,data=writeback 1 1 LABEL=/home /home ext3 defaults,noatime,data=writ
革命の日々！ XFS on x86_64
XFS on x86_64はまったく実用的ではないとかなんとかいう議論をLKMLでしている。XFSって１ページ 書き出すだけでもスタック3.5Kも使うのよね。カーネルスタックはページサイズx2なので8Kしかない。 よって なんか色々処理 +- kmalloc +- メモリ不足なので回収 +- pageout +- writepage + kmalloc +- このへんでさらに割り込み とか考えるとあきらかに突き破っていて、LVMやMDやNFSを使うとそんな複雑なパターンを 考えなくても正常系で普通に突き破るという。David Chinnerが既知の問題で直せないと 言っているからには、本当にダメなんだろう。 世間の人がどうやって回避しているのか知りたいものである。
Linux チューニング - Ext3 のパフォーマンスを最大化させる
じつは自宅サーバのロードアベレージが上がり続けています。分析の結果、ボトルネックは I/O 処理でした。CPU は Athlon64 X2 4400+ ですが、まだまだ当分この CPU で間に合いそうです。HDD は当時は 7200 回転で最速だった HITACHI Deskstar T7K250 SATA2 250GB を RAID1 構成にしたのですが、今思えば速度優先で RAID0 にしておけば良かったと少しだけ後悔。 I/O がボトルネックに成っている理由ですが、Drk7jp が公開しているサービスの全てがキャッシュファイルを利用した高速化手法を取っているのですが、単純にそれらファイルの write 処理が追いついていません。常に何らかのプロセスで I/O 待ち状態が発生しているような状況です。抜本的な解決方法としては disk を高速なものに交換する以外ありません。 というわけで
システム開発の備忘録 | CentOS 5 + XFS
CentOS 5 で使えるファイルシステムとして、デフォルトでXFSは使えません。 但し、centosplusで提供されているパッケージを使う事でCentOSでもXFSを使う事が出来ます。 CentOS 4の時にはkernel自体をcentosplusにしないとうまくいかなかったんですが、CentOS 5ではcentosplusにしなくてもXFSに出来ます。（安定した動作は保証出来ませんが） ちなみに同じような内容を http://www.kgworks.net/wiki/Linux_CentOS_5_XFS にも記載しています。 CentOSが配布されているFTPサイトなどから centos/5.0/centosplus/i386/RPMS/ のようにアクセスしていきます。 (マシンのCPUが64bitならx86_64を使って方がパフォーマンスが良いかもしれません) 下記パッケージをダウ
CentOS 5.2/XFS, ReiserFSを使う - 情報の宴
初めて使えるようにする まずkernel, kernel-headersをcentosplusの物に入れ替える。
LinuxでXFSファイルシステムを利用するヒント
Linuxで比較的大きなファイル(１つあたり数百MBからGBクラスの大きさ）を多数扱う場合（実際にはGridFTPを使用した場合）、標準の ext3ファイルシステム では、ファイルアクセス時 にCPU利用率が異常に上がりハングしてしまう等の問題が発生する場合があります。この問題は XFSファイルシステムを使用すると解決しました。私たちは2005年春に米国の研究所から大量(270TB)の実験データをgridftpで転送中に、この ext3の致命的な問題に直面しましたが、この問題は XFSファイルシステムの使用で解決しました。また ext3では論理volumeを使うと最大8TBまでのファイルシステム構築でき、マウントできますが、それ以上のファイルシステムは作成できません。XFSは８TB以上のサイズのファイルシステムを論理volumeで作ることが出来ます。 XFSはSIGが開発した open s
次世代ファイルシステム「Btrfs」はSSD最適化にも注力 － ＠IT
2009/10/23 Linux向けの次世代ファイルシステムとして注目されている「Btrfs」（バター・エフエス）。東京・秋葉原で開催中のThe Linux Symposium 2009で10月23日、Btrfsプロジェクトの創始者で開発をリードするクリス・メイソン氏が、Btrfsで実現する機能や現状について紹介した。 Btrfsは2007年にオラクルが発表した新しいファイルシステムだ。2009年1月にカーネルに取り込まれていて、すでにディスク上のフォーマットはフィックスされていることから、アーリアダプター層などには「すでに十分に使えるレベル」（メイソン氏）になっているという。Btrfsはオラクルが開発していると思われがちだが、IBMやインテルからもコードの貢献があり、例えば次期バージョンに含まれるRAID 5/6/60にはインテルが取り組んでいるという。また、SSDへの最適化も進めており
ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
MogileFSで構築する高速スケーラブルな分散ファイルシステム - builder by ZDNet Japan
本連載「オープンソースソフトウェアでクリエイターを支援するmoonlinx」の第1回「ウェブメディア「moonlinx」を支えるオープンソースソフトウェア」ではmoonlinxの概要およびシステム構成を、第2回の「openSUSEの管理ツール「YaST」で作業を効率化：moonlinxを支えるOSS」では使用OSであるopenSUSEについて簡単に説明しました。 今回は、moonlinxで取り扱うメディアファイル（画像、音楽、動画）の保管方法について説明したいと思います。 分散ファイルシステム「MogileFS」 moonlinxでは、各種メディアファイルの保管に、オープンソースの分散ファイルシステム「MogileFS」を利用しています。 分散ファイルシステムを用いることにより、ファイルシステムを構成するノード群の一部がダウンしても、データを失うことなくシステムとして機能し続け、かつ自動レ
Solaris ZFSの基本的な仕組みを知る
本連載では、Solaris ZFS (以下 ZFS) の基本的なコンセプトやアーキテクチャから、その機能や実用・応用例を解説するという流れでZFSをご紹介させていただきます。 今回は、ZFSの基本的コンセプトとアーキテクチャの解説です。 Zの文字に込められた意味 ソースコードの複雑化と、扱うデータ量の増大に伴い、既存のファイルシステムでは管理性、拡張性、安全性、完全性、機能、性能が問題となることが多くなってきました。このような中、サン・マイクロシステムズ（以下、サン）のエンジニアチームは、まったく新しい、まるでコンピュータのメインメモリのように扱えるファイルシステムの開発を始めました。 目的は、既存のファイルシステムが抱える問題点をすべて解決し、管理が容易で、拡張性があり、安全でかつ完全性が保持され、便利な機能を持ち、高性能な、ある意味、究極のファイルシステムを作ることでした。 ZFSの「
Welcome to ZFS on OS X
All user-submitted text and content on this website is licensed under a Creative Commons Attribution 2.5 License unless otherwise noted. Copyright © 2008 Apple Inc. All rights reserved. Welcome to ZFS on OS X What is ZFS? ZFS is a new kind of filesystem developed by Sun Microsystems that provides simple administration, transactional semantics, end-to-end data integrity, and immense scalability. No
SanDisk、SSD向けファイルシステム「ExtremeFFS」を解説～“プチフリ”と無縁な、高速化技術
SanDisk、SSD向けファイルシステム「ExtremeFFS」を解説 ～“プチフリ”と無縁な、高速化技術 米SanDiskでSSDマーケティング部門の上級ディレクターを務めるDon Barnetson氏に、同社のSSD製品/技術に関する話を伺う機会を得た。同社はここ最近、SSDに関する指標や新技術を立て続けに発表している。一部、過去のレポートと重複する点もあるが、高速化技術などについて具体的なメカニズムは、今回初めてお伝えする。 ●SSDのランダムライトを100倍高速化するExtremeFFS 同社は'94年に、NANDフラッシュメモリ用ファイルシステム「TrueFFS」を開発した。これは、Windows 95や、一般的な携帯電話などに採用されている。NANDフラッシュメモリでは、データを直接上書き/変更することができず、書き込む前に一度消去という作業を行なう必要があるが、TrueFF
Gfarm
Gfarm ファイルシステムは，次世代ネットワーク共有ファイルシステムで， オープンソースソフトウェアで開発が進められています．NFS の代替として， また，より大容量，高信頼，高性能という要求に低コストで応えます． News [08/6/8] Sourceforge.netでCommunity Choice Awards のノミネーションが始まっています．清き一票をよろしくお願いします． [08/5/27] Gfarm version 2.1.0 を公開しました． [07/12/5] 情報処理学会HPC研究会で発表予定の Gfarm v2の論文を公開しました． ソフトウェアダウンロード ドキュメント バグトラッキングシステム メーリングリスト SourceForge プロジェクトページ
ScalableStorageWithOSS00 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #0 TLUG Meeting 2008/09 で発表した How to build a scalable storage system with OSS なんですが、発表では概要しか触れてなくて、じゃあいったいどうやって構築するのよ、という部分が全然ないので、ぼちぼちこのブログで書いていくことにします。 で、スケーラブルというだけだと曖昧なので、以下のような要件を満たすものを、スケーラブルなストレージと想定することにします。 特殊なソフトウェアを必要とせずに、OS からファイルシステムとしてマウントできるもの。なので MogileFS、Hadoop Distributed File System、Google File System 等は対象外。（FUSE 使えばやれないこともないけど…） 容量をオンラインでダイナミックに追加で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株式会社VOYAGE GROUP
Linux Square全記事インデックス
TextMate 2 alpha before Christmas? | TUAW - The Unofficial Apple Weblog