ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
Gfarm
Gfarm ファイルシステムは，次世代ネットワーク共有ファイルシステムで， オープンソースソフトウェアで開発が進められています．NFS の代替として， また，より大容量，高信頼，高性能という要求に低コストで応えます． News [08/6/8] Sourceforge.netでCommunity Choice Awards のノミネーションが始まっています．清き一票をよろしくお願いします． [08/5/27] Gfarm version 2.1.0 を公開しました． [07/12/5] 情報処理学会HPC研究会で発表予定の Gfarm v2の論文を公開しました． ソフトウェアダウンロード ドキュメント バグトラッキングシステム メーリングリスト SourceForge プロジェクトページ
分散ストレージについて再び(6) - pekeqのブログ
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思う。ぼくのブログじゃ無理だ。 メタデータサーバとストレージノードが分かれたアーキテクチャ メタデータサーバはPostgreSQLで動く メタデータキャッシュサーバを立てることができ、メタデータサーバの負荷が高まらないようにできる（！） レプリケーション可能。しかもファイル単位で設定できる（！！！） 巨大なファイルを複数ノードに分散させることも可能 分散処理コマンドが豊富。gfgrepなんてもうシビれる 並列分散処理のための基盤としても使うことができる などなど、すてきな機能が盛りだくさん 詳しくはGfarm Workshopのページに資料
分散ストレージについて再び(2) - pekeqのブログ
AFSは、かなりの歴史と実績がある分散ファイルシステムだ。umich, intel等、多くの環境で実際に利用されており、安定度もかなりのものだ（現在のOpenAFSはIBMが販売していたものがベースになっている）。日本語情報が少ないのが困った点だが、英語がちょっと読めるなら、AFS Workshopの資料を読めば、かなりの知識が手に入る。（AFSに興味がなくてもこの資料は読む価値があるかもしれない。ちょっとニヤっとしてしまうだろう） ただ、AFSを使おうと思う上で躊躇してしまうことのひとつは、テラバイト級のボリュームを作ったらどうなるか、いまいちよくわからない点だ。 AFSの制限値をまとめようとした投稿 リプライを読むと、実際どのへんまでいけるのかはよくわからないようだ Quotaは2TBまでしか効かないが、それ以外は動くのでは？という投稿 27TBのデータをOpenAFSで管理しているよ
分散ストレージについて再び(1) - pekeqのブログ
まず以前の私の記事でLustreを推していたが、これは撤回すべきだと思う。 日本でLustreを本気で使っている組織のひとつに東工大がある。東工大はTsubameクラスタでLustreを使っているのだが、TSUBAMEグリッドクラスタのページを見てほしい。/work, /work2の障害のお知らせが定期的に載っているのがわかるだろうか。この/work, /work2というのがLustreで提供されているボリュームで、見てわかるように、とても頻繁に障害が起きている。 障害の主な原因のひとつは、LustreがノードをRAID0でまとめていることと、メタデータサーバが頻繁に止まってしまうことに起因しているようだ。RAID0の場合、ディスクが1台でも止まると、ボリューム全体にアクセスできなくなる。これと同じことがLustreではノードで発生し、ストレージノードが一台止まると、クラスタごと止まってし
Tadahira's blog - 安全・確実・大容量・高速なファイルシステム
googleのgmailで使われているファイルシステム google file systemの論文「The Google File System」を 読んでから、これからOSの仮想化とクラスターそこで利用するファイルシステムが 次世代のシステムになるんだろうと想像してみる。 特にクラスタで利用できるファイルシステムは、既に大容量のデータを抱える企業 には救世主ではないだろうか。。 と思い、google file systemのようなクラスターファイルシステムについて調べたら オープンソースで同じようなファイルシステムLustreを発見。 日本語サイトには導入事例がほとんどないが、「DSAS開発者の部屋」が参考になる。 しかし、Lustreはオンデマンドで容量を拡張することができないし、メタデータサーバが 落ちると全体が落ちる(Single point of failure:S
「ハリー・ポッター」シリーズに投入されたLustre | OSDN Magazine
「ハリー・ポッター」シリーズ最新作、『ハリー・ポッターと炎のゴブレット』で不気味な特殊効果の大半を担当したアニメ制作会社、Framestore CFCのレンダリング・ファームではIntelベースの強力な高速Linuxクラスタが稼働しているのにNFSサーバーのボトルネックのせいで不具合に見舞われることがあった。そこで（ハリー・ポッター風に）Lustreよ来たれと相成り、オープンソースのクラスタ・ファイル・システム、Lustreが、大手と張り合える価格で同社の並外れた食欲、すなわちI/O要求を満たすことになった。 制作スタジオでLinuxを使うのは今や珍しくないが、Framestoreはその先駆けに名を連ねていた。Framestoreが船出した6年前はUnixサーバーが主流で、「Windowsマシンもパラパラあったようだ。我々がLinux路線を選ぶのにそれほど時間はかからなかった」とFrame
lustre - 詳解ファイルシステム
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 lustre 最終更新： linuxfs 2007年01月02日(火) 11:49:37履歴 Tweet FrontPage 詳解Lustre 詳解Lustre Lustreとは Lustreの特徴1 Lustreの特徴2 Lustreの特徴3 lustreの使い方詳解 その他諸元(2006/03/28 現在) Lustreとは Lustreとは、Cluster File Systems, Inc.がGPLに基づいて配付している、クラスタファイルシステムです。~ POSIXに準拠しています。~ ライセンス : GNU GPL~ 作者 : Cluster File Systems, Inc.~ ホームページ : http://www.lustre.org/ ~ https://mai
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
