サーバのファイル整理作業をしていたところ…、間違えてrm -rfしてしまった!ぎゃーバックアップもねー! 長いこと生きてたらこんな経験の1度や2度はありますよね?えぇ、ついさっきやらかしちゃいましたwwオワタwww 速攻「rm 復活」とかでググッたねw、... 続きを読む
Git のコマンド体系は全く歴史に学ばず後世に禍根を残す酷いデザインだが、どういうわけか内部構造は大変素晴らしい。特にファイル構造を一旦キーバリュー式データストアに保存するというのは是非参考にしたいアイデアなので調べてみました。Git 内部データスト... 続きを読む
Make Tech Easier - Uncomplicating the complicated, making life easier 代表的なファイルシステムに絞っても、Linuxにはいくつか選択候補になるファイルシステムがある。ディストリビューションの指針や評価ごとに違うファイルシステムが採用されたり、バー... 続きを読む
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいと... 続きを読む
はてなダイアリーが AtomPub で編集できるようになったので、早速 fuse を使ってファイルシステムを作ってみました。こんな感じに使えます。http://rails2u.com/tmp/diary_fuse/fuse.htm (動画) /create に保存すると現在時刻で作成 /20080820101010 など、エン... 続きを読む
ファイルの入出力性能の改善は,システム全体の処理速度向上に大きく貢献する。高速なプロセッサを搭載する現在のコンピュータでは,ファイルのアクセス速度がシステム・パフォーマンスのボトルネックになっているためである。不要なディスク・アクセスの削減と... 続きを読む
English blogDokan(Windows版FUSE) が、昨日、オープンソース(LGPL)になりました!http://decas-dev.net/2008/05/26/open-source-dokan-library-032-released/FUSE とは、File system in User space の事で、通常はファイルシステムを作るには、カーネルモード... 続きを読む
読みは「モジャイル」かな?まずは、このへんから。Learning MogileFShttp://www.art-code.org/files/shibuya_pm_tt07_mogilefs_with_catalyst.pdf 分散ファイルシステム MogileFS についてhttp://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.htmlMogileFS ... 続きを読む
NFS と AUFS (Another Unionfs) を使って、ディスクレス (diskless) サーバ群からなる低コスト・高可用な大規模負荷分散システムを構築する ディスクレス (diskless) サーバを多数運用しようとしたときネックとなるのが、 NAS (Network Attached Storage) サー... 続きを読む
分散ファイルシステムとは? ネットワーク上でディスクやディレクトリ、ファイルを共有できるようになったのは、 最近のコンピュータ技術における非常に重要な進歩だ。 ローカルディスクの必要空間を減らし、 同じファイルのバージョンを何百も持たずに簡単に共... 続きを読む
Google file system(GFS) * 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成す... 続きを読む
Designed to meet the demands of the world's largest high-performance compute clusters, the Lustre file system redefines scalability and provides groundbreaking I/O and metadata throughput. An object-based cluster, Lustre currently supports te... 続きを読む
Ceph Ceph is an open source distributed file system capable of managing many petabytes of storage with ease. I’ve tagged v0.4. New in this release: Flexible snapshots (create snapshots of _any_ subdirectory) Recursive accounting for size, c... 続きを読む
GlusterFS is a clustered file-system capable of scaling to several peta-bytes. It aggregates various storage bricks over Infiniband RDMA or TCP/IP interconnect into one large parallel network file system. Storage bricks can be made of any com... 続きを読む
Perl と Google Earth を使って連絡可能時間マップを作る 抽出したメッセージ・データを Google Earth に表示して、チーム・メンバーやカスタマーに連絡できる時間、あるいはシステムが有効な時間を視覚化します。全文 続きを読む
Google Code で macfuse がリリースされたのをきっかけに、FUSEをみんながおもちゃにするに違いないと思ったのにだれもおもちゃにしていないみたいで、くやしかったので自分でおもちゃにしてみました。 FUSEの利点は、ファイルシステムという今まで数十年間使わ... 続きを読む
インターネット広告についてなど,日々気になった事をつらつらと書いています 続きを読む
Linuxは私の使っている範囲ではファイルI/Oがパフォーマンスボトルネックになっていることが多い。で、チューニングの情報を集めてみるのだが、なかなか役立つ情報を入手できない。 決まって全般的なチューニングの進め方について述べ、次にボトルネックの調べ... 続きを読む
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います... 続きを読む