株式会社HPCソリューションズ ～ 技術情報 並列ファイルシステムについて Lustre GPFS Panasas GlusterFS Ceph OrangeFS
並列ファイルシステム、或いは分散ファイルシステムと呼ばれるものが最近のPCクラスタでは標準となっています。 これらは複数のサーバ、複数のストレージデバイスを仮想的に１ボリューム化し、更に共有ファイルシステムとしてサービスすることが出来ます。 並列ファイルシステムは大規模システムのものと思いがちですが、計算ノードが数十台以下の小さなシステムでも大きなサイズのファイルを扱うプログラムでは絶大な効果を発揮します。 最近では選択肢が増えたこともあり、規模が小さければそれに合わせた低コストの並列ファイルシステムを作ることも容易になりました。 この解説では並列ファイルシステムの代表的なものとしてLustre、GPFS、GlusterFS、Panasas ActiveStorを紹介したいと思います。（※Panasas ActiveStorはサーバなどハードウェアを含むアプライアンス製品ですが、独自の並列
コラム - クラウド時代のオープンソース実践活用 | 第44回 分散ストレージ技術「Ceph」のからくり｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第44回 分散ストレージ技術「Ceph」のからくり (中井悦司) 2014年6月 はじめに 先日、東京でLinuxCon Japanが開催されましたが、そのプログラムの一部として、「Gluster Community Day」というミニイベントが開催されました。タイトル通り、GlusterFSのコミュニティイベントですが、今回は特別枠（？）として、「Ceph（セフ）」のプレゼンテーションがありました（*1）。 Cephは、GlusterFSと同様に、オープンソースとして開発される分散ストレージ技術ですが、「分散ファイルシステム」だけではなく、分散型のオブジェクトストアやブロックデバイスとしても利用できるという特徴があります。当日のプレゼンでは、
Linux ファイルシステムにおけるバグ傾向
Linux には複数のファイルシステムがあります．これらには，仕様としての機能差の他に，品質・安定度に関して大きな差があると考えられています． 今回は，そのあたりを定量的に分析した論文をご紹介． A Study of Linux File System Evolution [キャッシュ] https://www.usenix.org/conference/fast13/study-linux-file-system-evolution 調査の対象は，XFS/Ext4/Btrfs/Ext3/Reiser/JFS の 6 つのファイルシステム．これらについて，Linux 2.6.0 (Dec ’03) から 2.6.39 (May ’11) の間に取り込まれた 5,079 個のパッチを分析しています． パッチの種類 まず，パッチを次の 5 種類に分類しています． Bug バグの修正． Reli
Solaris ZFSの基本的な仕組みを知る
本連載では、Solaris ZFS (以下 ZFS) の基本的なコンセプトやアーキテクチャから、その機能や実用・応用例を解説するという流れでZFSをご紹介させていただきます。 今回は、ZFSの基本的コンセプトとアーキテクチャの解説です。 Zの文字に込められた意味 ソースコードの複雑化と、扱うデータ量の増大に伴い、既存のファイルシステムでは管理性、拡張性、安全性、完全性、機能、性能が問題となることが多くなってきました。このような中、サン・マイクロシステムズ（以下、サン）のエンジニアチームは、まったく新しい、まるでコンピュータのメインメモリのように扱えるファイルシステムの開発を始めました。 目的は、既存のファイルシステムが抱える問題点をすべて解決し、管理が容易で、拡張性があり、安全でかつ完全性が保持され、便利な機能を持ち、高性能な、ある意味、究極のファイルシステムを作ることでした。 ZFSの「
Ext2fsd - http://www.ext2fsd.com
Modifications from V0.46: Features implemented or bugs fixed: 1, Acronis TrueImage compatible issue solved: Verified with Acronis True Image Home 2009. Also verified with FreeOFTE 3.0, TrueCrypt 6.2a. 2, Driver code-signed for Vista and Server 2008 3, Bo Branten's 5+ patches merged, lots ifstest failures resolved 4, Code improvements for FastIo routines and drive letter & mount points management
Ext2 IFS For Windows
What's unique about this software? It provides Windows NT4.0/2000/XP/Vista/7/8/8.1/Server 2003/2008/2008 R2/2012/2012 R2 with full access to Linux Ext2 volumes (read access and write access). This may be useful if you have installed both Windows and Linux as a dual boot environment on your computer. The "Ext2 Installable File System for Windows" software is freeware. If you currently have Windows
I/Oスケジューラ - Linuxカーネルメモ
2. RequestQueue デバイスドライバは、初期化時にblk_init_queue()によってブロックI/O要求を受け付けるRequestQueue作成する。スケジューリングはRequestQueue毎に行われる。 3. Elevator I/Oスケジューラの実体。I/Oスケジューラ種別に非依存な部分を実装しており(ファイルシステムでいうVFS的なもの)、ここから、各スケジューラの処理が呼び出される。 RequestQueueにはElevatorが関連づけられる。ブロックI/OのRequestは一旦Elevatorに入れられて、スケジューリングされた後、Dispatchされる。DispatchされたRequestはRequestQueueに入れられてデバイスドライバがI/Oを実行していく(図1)。
ほえほえ LinuxファイルI/Oチューニング
Linuxは私の使っている範囲ではファイルI/Oがパフォーマンスボトルネックになっていることが多い。で、チューニングの情報を集めてみるのだが、なかなか役立つ情報を入手できない。 決まって全般的なチューニングの進め方について述べ、次にボトルネックの調べ方について述べる。 最後にチューニングパラメータ設定手順のヒントだけを非常に簡単に挙げておわってしまう。いや、どこがボトルネックなのか最初に一発で分かればいいよ？ でも全般的なチューニングの進め方でそうしたドキュメントが述べている通り、色々な可能性を繰り返しチューニングしながらつぶしていかなきゃいけないんだよね。 そのためには具体的なチューニングパラメータの設定手順がなきゃできないんだよね。それを教えろよ！それを！ ということで、今回はLinuxファイルI/Oチューニングについて調べた。大きなファイルの書き込み(ex. cpコマンド)を行うと、
Linuxカーネル開発最新事情 ― ＠IT
Linuxカーネルはリーナス・トーバルズが1991年に個人的に書き始めたもの。以来、多くの開発者を巻き込みLinuxカーネルは成長し、今も新機能を取り込み続けている。もともと趣味の延長やアカデミックな好奇心から開発に関わった人が多かったことから、かつては「Linuxカーネルの開発はボランティアによって支えられている」と言われたが、それは、現状のLinuxカーネルの開発には、まったく当てはまらない。そう話すのは、7月10日に東京で開催された第5回The Linux Foundation Japan Symposiumで講演した米LWN.netのジョナサン・コーベット（Jonathan Corbet）氏だ。 「最新のカーネルに対して機能を加えたり、変更したりするパッチを送った開発者は2006年6月のバージョン2.6.17以降、全部で2100人。このうち、少なくとも3分の2以上の人々がレッドハッ
ファイルシステム諸元 - 詳解ファイルシステム
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 ファイルシステム諸元 最終更新： linuxfs 2006年08月09日(水) 21:32:11履歴 Tweet FrontPage ファイルシステム諸元 注意事項 更新記録 メジャーなファイルシステムの諸元 Linux以外で主に使用されているファイルシステム諸元 並列ファイルシステム諸元 ファイルシステム諸元 注意事項 1. 2006/08/09版です。~ 2. kernel 2.6.18-rc4(2006/08/07)のデータです。~ 3. Solaris 10 build45(2006/08/03)のデータです。~ 4. 調べてますが間違っているかもしれません。~ 5. 各諸元の理由については、各ファイルシステム毎の詳解にて説明予定~ 更新記録 2006/08/09 2.2版~ 200
http://fuse.sourceforge.net/wiki/index.php/FileSystems
lib/WikiDB/backend/PearDB.php:59: Error: Can't connect to database: wikidb_backend_peardb_mysql: fatal database error DB Error: connect failed ( [nativecode=Can't connect to MySQL server on 'mysql4-f.sourceforge.net' (111)] ** mysql://f121684admin:XXXXXXXX@mysql4-f.sourceforge.net/f121684_phpwiki) lib/WikiDB/backend/PearDB.php:59: Error: Can't connect to database: wikidb_backend_peardb_mysql: fat
filesystem/UDF - Linux Tips
_ UDFとは CD-RW、DVD±RWなどで、他のファイルシステム同様、ファイル単位でのアクセス(読み書き)を可能とするファイルシステム。そうでない場合、書き込みはディスク全体へ一度に行うことしか出来ない、ISO9660となる。 ↑ カーネルのサポート † UDFを扱うには、カーネルでUDFがサポートされている必要がある。自分でカーネルの再構築をしている場合などは、要チェック。 あらかじめインストールされているカーネルをそのまま使っている場合など、モジュール化している場合、以下によりモジュールをロード。 # modprobe pktcdvd ↑ udftoolsのインストール † まずは、UDFを扱うために必要な、udftoolsをインストールする。 Gentoo Linux の場合、udftools によりインストールされる、/etc/init.d/pktcdvd を実行することで、
FrontPage - 詳解ファイルシステム - livedoor Wiki（ウィキ）
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 FrontPage 最終更新： linuxfs 2009年01月19日(月) 16:03:10履歴 Tweet 詳解ファイルシステム ファイルシステム諸元 subcontentsファイルシステム諸元性能比較パーティション用語集OOMkillerkernelSELinuxgitskillcheckKDBJapanese Linux hackerext3/4最新情報Hans Reiser情報Committerfeature-removal-scheduleTODO中の人OSC2007 Tokyo/FallOSC2008 Tokyo/FallOSC2009 Tokyo/Fall ファイルシステム詳解 filesystem contents注目度の高いファイルシステムvfsext3ext4reise
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
IBM Developer
https://lowlife.jp/yasusii/stories/20.html/
OSTA Universal Disk Format Specifications
Linux UDF