分散ファイルシステム/ブロックデバイスをまとめる - Blog by Sadayuki Furuhashi
昨日KLab勉強会#2の資料を公開しましたが、その中で動的な分散ファイルシステムを設計していると書きました。分散ファイルシステムというのは既にいろいろ存在しているわけですが、情報が分散していてサッパリ分からないので、このあたりでまとめてみたいと思います。 間違っていたり古かったりするに違いないので、正確な情報は本家の情報を参照してください。 ファイルシステムレイヤー NFS GFS(Global File System) OCFS GlusterFS Lustre 下位レイヤー Filesystem Block Device Block Device Filesystem Block Device 読み込み ○ ○ ○ ○ ○ 書き込み ○ ○ ○ ○ ○ アクセスの冗長化 × ○ ○ ○（負荷分散と排他） × データの冗長化 下位レイヤーに依存 下位レイヤーに依存 下位レイヤーに依存 ○
サン・マイクロシステムズ
日本のオラクル・コミュニティが一堂に会するプレミア・イベントにぜひご参加ください。新しいスキルを身に付け、業界エキスパートと交流し、複雑なビジネス課題を解決するためのソリューションを発見しましょう。
Tadahira's blog - 安全・確実・大容量・高速なファイルシステム
googleのgmailで使われているファイルシステム google file systemの論文「The Google File System」を 読んでから、これからOSの仮想化とクラスターそこで利用するファイルシステムが 次世代のシステムになるんだろうと想像してみる。 特にクラスタで利用できるファイルシステムは、既に大容量のデータを抱える企業 には救世主ではないだろうか。。 と思い、google file systemのようなクラスターファイルシステムについて調べたら オープンソースで同じようなファイルシステムLustreを発見。 日本語サイトには導入事例がほとんどないが、「DSAS開発者の部屋」が参考になる。 しかし、Lustreはオンデマンドで容量を拡張することができないし、メタデータサーバが 落ちると全体が落ちる(Single point of failure:S
ぼんやりと考えたこと
以前にぼんやりと考えたこと 2009 01 02 03 04 05 06 07 08 09 10 11 12 2008 01 02 03 04 05 06 07 08 09 10 11 12 2007 01 02 03 04 05 06 07 08 09 10 11 12 2006 01 02 03 04 05 06 07 08 09 10 11 12 2005 01 02 03 04 05 06 07 08 09 10 11 12 2004 01 02 03 04 05 06 07 08 09 10 11 12 2003 01 02 03 04 05 06 07 08 09 10 11 12 最近のコメント ひろしま (ひらがなせいかつ …): じゅくじくんは なくした ほうが いい ですね。ぼくは… たんぽぽ (ひらがなせいかつ …): きゅうに ぜんぶの ことばを ひらがなだけに す
窓の杜 - 【NEWS】ごみ箱から削除したファイルを復元できるフリーソフト「DataRecovery」
ごみ箱から削除したファイルを復元できるソフト「DataRecovery」v2.2.2が、19日に公開された。Windows 95/98/Me/NT 4.0/2000/XPに対応する寄付歓迎のフリーソフトで、現在作者のホームページからダウンロードできる。なお本ソフトには、IEのアドレスバーなどで日本語検索を可能にする「JWordプラグイン」が同梱されており、初回起動時にインストールの可否を選択できる。 「DataRecovery」は、ハードディスクやリムーバブルディスクから削除してしまったファイルを復元できるソフト。ごみ箱を空にしてしまった場合など、間違って削除したファイルを簡単操作で復元することが可能。復元対象は、ファイル名を指定して検索できるほか、フォルダ単位での復元にも対応している。 使い方は簡単で、まず画面左側のドライブ一覧から復元したいファイルが納められていたドライブを選択しよう。
Shibuya.pm Technical Talk #7の資料を公開します。 - 日向夏特殊応援部隊
Learning MogileFS とりあえず公開しておきます。 何か質問があれば、こちらに書き込んで頂ければ鋭意対応します。（ぉ 感想はまた後日＾＾；
Six Apart - Tech Talk Blog: MogileFS のインストールと初期設定
酒井です。タイトルの通り、今回は MogileFS のインストールから初期設定までをずらずらと紹介します。 MogileFS では各コンポーネントごとに別サーバーを割り当てるのが通常ですが、実際には1台ですべてのコンポーネントを稼動させることができますので、colinux などの環境で手軽に実験することが可能です。今回使用した環境は、 Debian/sid (colinux) perl 5.8.8 MySQL 5.0 (non cluster) です。 また、使用する MogileFS のバージョンは、現時点では開発中ですがもうすぐリリースとなる（はずの）バージョン 2.0 を SVN リポジトリ の trunk からチェックアウトして使用します（revision 421 をインストールしました）。 リポジトリURL http://code.sixapart.com/svn/mogilef
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
Yet Another Hackadelic - Note of MogileFS #03 - MogileFS Serverのインストール(覚書)
はじめに まだ勉強中なんで内容は物凄い無保証です。ｗ あと基本的にSixApartではDebianでの動作が多いらしいのでDebian使いの方は少し幸せかもしれません。 それとziguzaguさんの記事を非常に参考にさせて頂きました。この場を借りてお礼申し上げます。 下準備 とりあえずMySQLは必要です！ 今回はtrackerはhttpセットアップとします。 As we've said, MogileFS can use NFS or HTTP, but we highly recommend an HTTP-based setup! Linux NFS is horrible and we've experienced no end of lowmem problems, file corruption (4k pages of zeros), and NFS server probl
NTFSの件その５ | oopsの日記 | スラド
NTFSの圧縮によりファイルが壊れる件の続き。 2chの情報だとMS06-049(KB920958)をアンインストールで解決っぽい。って、ここがリンクに張られてる。 簡単にまとめてみる。 １）KB920958をインストールした後から障害が発生する。 ２）対象 OS は Windows 2000 で NTFS 内の圧縮属性が掛かったファイルが壊れる。 ３）古いファイルは影響はなく、１）の後、作成、コピーされたファイルが影響を受ける。 ４）圧縮されにくい、4096の整数倍より少し小さい、あまり大きくないファイルが対象。 ５）ファイルの末尾が同じデータ(多くはDF)になって壊れる。 ６）主に画像ファイルに影響が出る。IEのキャッシュファイル等。 ７）EXE や DLL とか大部分のファイルは圧縮しにくくはないので影響を受けない。 ８）MS06-049(KB920958)をアンインストールすれば解
Solaris ZFS、FreeBSDへも移植へ | エンタープライズ | マイコミジャーナル
The FreeBSD Project, FreeBSD committer, Pawel Jakub Dawidek氏は22日(協定世界時)、開発者向けのメーリングリストにおいてZFSのFreeBSDの移植を進めていることを発表。まだ作業段階にありなすべき多くのことが残っているとしながらも、進捗は順調である旨を伝えた。 同氏はすでにユーザランドレベルでのライブラリやツールなどを移植済みだとする。作成されたZFSファイルシステムのマウントやファイル/ディレクトリの作成などいくつかの基本的な動作はすでに確認されており、現在はもっとも複雑であるVFSまわりの開発を実施している段階にあるという。 Sun Microsystems, Solaris Kernel Developer, Eric Schrock氏は同日、自身のブログにおいて、ZFSがFreeBSDに移植されたことを伝えている。ZFS
Reiser4を取り巻くLinuxカーネルの政治力学 | OSDN Magazine
どうしてReiser4ファイルシステムはLinuxカーネルに取り込まれていないのか？ ここ最近カーネルメーリングリスト上でこうした疑問に関する討論が展開されていたが、それは歯切れの悪い議論でしかなく、カーネル開発とは理性的な意見交換に基づいて実行されると思いこんでいた人々を幻滅させるのに充分なものであった。というのも、いずれの陣営も自分たちは技術的なメリットについて述べているのだと主張はしているのだが、いつしか議論の流れは、既存の慣例や方針を遵守すべきかという問題にすり替わってしまうのである。そして、感情的な対立が露わになるのも常であった。 Reiser4はReiserFS（別名Reiser3）の後継者として位置づけられており、後者はバージョン2.4.1以降のカーネルに搭載されたジャーナルファイルシステムを装備したものだが、これについても採用までには紆余曲折をたどったという経緯がある。いず
[Program][Ruby] RubyFS
今日の呑み会ネタ実装。 Ruby の世界をファイルに抽象化します。なんでもファイル。 http://shinh.skr.jp/ttyplay/rubyfs.html i@u /mnt/tmp> cat Time/now Sun Mar 19 01:41:00 JST 2006i@u /mnt/tmp> cat Array/new > @a= i@u /mnt/tmp> echo '"foo"' '"bar"' '"baz"' > @a/push i@u /mnt/tmp> cat @a/push ["foo", "bar", "baz"] i@u /mnt/tmp> cat @a/size 3 i@u /mnt/tmp> cat @a/pop "baz" i@u /mnt/tmp> cat @a/size 2FUSE と Ruby FUSE を用いて作りました。 100 行足らずでぼくにも
![[Program][Ruby] RubyFS](https://cdn-ak-scissors.b.st-hatena.com/image/square/a9a909b1bcafe8b82d061019681b634debc92034/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12704346814673860805%2F8454420450066435149%2F1411773180)
7月版 新ファイルシステム「ext4」開発開始か（1/2） ― ＠IT
7月版 新ファイルシステム「ext4」開発開始か 上川純一 日本ヒューレット・パッカード株式会社 コンサルティング・インテグレーション統括本部 2006/7/25 linux-kernelメーリングリスト（以下LKML）かいわいで起きるイベントを毎月お伝えする、Linux Kernel Watch。2006年6月はどのようなことが起きたのか、見てみましょう。 2.6.17カーネルリリース 6月18日に、Linuxカーネル2.6.17がリリースされました。2.6.16のリリースが3月20日ですから、今回も3カ月ごとのリリースを維持しています。2.6.17での変更点としては、以前お伝えしたspliceやteeなど、いくつかのシステムコール追加が目に付きます。 Andrew Mortonはこのリリースを受けて、今後の2.6.18へのマージ計画を「2.6.18 -mm merge plans」とし
中里一日記: キャッシュと更新
キャッシュと更新 昨日の続き。 前にも書いたとおり、削除は哲学的な問題だ。更新も、削除ほどではないが、かなり哲学的だ。 研究レベルでは、「削除も更新もしない」というポリシーが大流行中らしい。すべて追記オンリーで済ませる。当然、HDDの記憶容量は消費する一方で、使い方によってはあっという間にゴミで埋まってしまうが、それは無視するのが研究レベルというものらしい。過去の状態がそのまま取り出せるので便利だが、ゴミで埋まるような使い方があることを考えると、MVCC的な方法のほうが汎用性がある。 私としては、もうひとつ疑問がある。 変化するデータを追記オンリーのストレージ上で表現しようとすると、なんらかの形で、アドレスの予約が必要になる。アドレスを予約できなければ、データが追記されたとき、そのデータのアドレスを知る方法がない。アドレスが予約されているということは、そのアドレスについて「まだデータが書き
中里一日記: 分散ファイルシステムとHDDのあいだに
分散ファイルシステムとHDDのあいだに ファイルシステムやRDBMSは、なんらかの形でロック機構を持っている。ロック機構がなくてはデータの一貫性が保てない。 分散環境ではロック機構が性能の鍵になる。ノードの数を増やせば記憶容量が増える（スケールアウトする）のは自明だが、ロック機構はそうではない。 また、各ノードに備わるキャッシュ（ローカルキャッシュ）も問題になる。無効になったローカルキャッシュを適切に無効化しなければならない。 これらの要求は、ファイルシステムやRDBMSなどの永続化システムに共通している。また、分散環境では、素朴な方法（環境全体が一定数の同期オブジェクトを共有するなど）ではこれらの要求を効率よく満たすことはできない。 というわけで私は、分散ファイルシステムや分散RDBMSとHDDのあいだに、もう一つのレイヤを設けることを考えた。このレイヤのことを仮に「分散永続化システム」
fossil/venti - Plan9日記
ちょっと前に飲んでいて，ツリー型のファイルシステムは限界だとか，履歴管理ファイルシステムが欲しいという話題で盛り上がっていた． Plan9では，ずっとWORMベースのファイルサーバ(fs)と簡易ファイルサーバ(kfs)が使われてきたが，4th editionからfossil，ventiと呼ばれる新しいファイルサーバ，ブロックストレージサーバが追加された．fossilはfsとkfsを代替するというふれこみだった．fossilは「化石」って意味で，スナップショットが取れるファイルサーバ．ventiだけど，スタバではgrandeより大きいサイズをventiと呼ぶ(日本のスタバにはないと思うけど)． ventiはUNIXのブロックデバイスドライバに相当すると考えればいいと思うが，特徴的なのはブロック番号がブロックの内容のハッシュ値(SHA-1)になっている点だ．つまり，ハッシュ値が同じブロックは，
mount_smbfs: uyota 匠の一手
FreeBSD でも samba と mount_smbfs は時々使っていた。 常にマウントしている必要はなかったので、たいして気にしてなかったが、fstab にも mount_smbfs は書ける。man には以下のように載っている。 It is possible to use fstab(5) for smbfs mounts: //guest@samba/public /smb/public smbfs rw,noauto 0 0 注意して欲しいのは上記の設定だと、noauto である。mount /smb/public とやると設定にもよると思うが、パスワードを聞いてきてマウントできる。しかし、これではパスワード付きの物はマウントできない。 そこで、man mount_smbfs 内を pass で検索すると、 -N Do not ask for a password. At r
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
qdbm 開発メモ ファイルシステム対決
http://www.fs.net/sfswww/