[B! 分散技術] lockcoleのブックマーク

分散ファイルシステム/ブロックデバイスをまとめる - Blog by Sadayuki Furuhashi

昨日KLab勉強会#2の資料を公開しましたが、その中で動的な分散ファイルシステムを設計していると書きました。分散ファイルシステムというのは既にいろいろ存在しているわけですが、情報が分散していてサッパリ分からないので、このあたりでまとめてみたいと思います。間違っていたり古かったりするに違いないので、正確な情報は本家の情報を参照してください。ファイルシステムレイヤー NFS GFS(Global File System) OCFS GlusterFS Lustre 下位レイヤー Filesystem Block Device Block Device Filesystem Block Device 読み込み ○ ○ ○ ○ ○ 書き込み ○ ○ ○ ○ ○ アクセスの冗長化 × ○ ○ ○（負荷分散と排他） × データの冗長化下位レイヤーに依存下位レイヤーに依存下位レイヤーに依存 ○

lockcole 2007/08/04

ファイルシステムレイヤ，ブロックデバイスレイヤのそれぞれの規格の比較対応表と，組み合わせ例。(((NBD×rd + RAID 1)×n + RAID 0)×s + LVM + XFS/ext3/... + NFS)×ra + keepalived/heartbeatってすごいな・・・。

リンク

Gfarm Workshop 2005

10:15 - 11:10 Gfarm ファイルシステムの最新機能概要 [ PPT 1.5MB ] 建部修見 (産総研) ・Gfarm ファイルシステムの概要 (20分) ・Gfarm バージョン 1.2 の新機能の紹介 (10分) ・デモンストレーション (25分) 11:20 - 12:00 Gfarm ファイルシステムの実装とロードマップ [ PPT 500KB ] 建部修見 (産総研) ・Gfarm の実装の概要 (30分) ・ロードマップ

lockcole 2007/04/12

Gfarmについてのワークショップ。Gfarm ファイルシステムの最新機能概要，実装とロードマップ，東工大COEグリッドでの活用事例，GfarmFS-FUSE の使い方，などなど。

分散技術

リンク

Tadahira's blog - 安全・確実・大容量・高速なファイルシステム

googleのgmailで使われているファイルシステム google file systemの論文「The Google File System」を読んでから、これからOSの仮想化とクラスターそこで利用するファイルシステムが次世代のシステムになるんだろうと想像してみる。特にクラスタで利用できるファイルシステムは、既に大容量のデータを抱える企業には救世主ではないだろうか。。と思い、google file systemのようなクラスターファイルシステムについて調べたらオープンソースで同じようなファイルシステムLustreを発見。日本語サイトには導入事例がほとんどないが、「DSAS開発者の部屋」が参考になる。しかし、Lustreはオンデマンドで容量を拡張することができないし、メタデータサーバが落ちると全体が落ちる(Single point of failure:S

lockcole 2007/04/12

Lustreっていうオープンソースの分散ファイルシステムがSPOFなことを受けて，そのほかの選択肢でGlusterFSが紹介されてる。こちらはSPOFなし。メタデータサーバを必要としないらしい。

リンク

Grid Datafarm - Gfarm file system [Japanese]

datafarmSearch this site The site moved!Sit emap The site moved! Url Redirector ModifiedAutomatically redirecting to http://sourceforge.net/projects/gfarm/ Sign in|Recent Site Activity|Report Abuse|Print Page|Powered By Google Sites

lockcole 2007/01/05

グリッドデータファームという分散ファイルシステム。NFSの代替を狙う。

リンク

Apache Hadoop

This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul

lockcole 2006/12/24

GoogleのMapReduce的な機能を実現した，Apache Luceneのサブプロジェクト「Hadoop」。

リンク

分散ファイルシステム - pekeqのブログ

more better NFS OpenAFS, Lustre, IBRIX NFSはNetworkedなファイルシステムなだけであって、Distributedではない focus on disconnected operation Coda, Intermezzo I/Oパフォーマンスを上げるために、ネットワーク上でストライピング PVFS 最強？ IBM GPFS フリーで使える実装としては、Lustreが一番大規模で美しい（かっこいい）。メタデータを保管するサーバと、実体を保管するサーバが完全に分かれている。ただ、slashdotにあったように、管理が大変そうだ。オブジェクトストレージサーバが、shared diskによるフェイルオーバなのも、いま風のかっこよさではない感を誘う。現時点では、OpenAFSが一番リーズナブルな解であるように思える。データのレプリケーションをサポートし

lockcole 2006/12/23

「フリーで使える実装としては、Lustreが一番大規模で美しい（かっこいい）。メタデータを保管するサーバと、実体を保管するサーバが完全に分かれている。」

リンク

Distributed File System (DFS) 　分散ファイルシステムに関するメモ | Silicon Soul

一定期間更新がないため広告を表示しています

lockcole 2006/12/23

分散ファイルシステムのメモ。主要な分散ファイルシステムのリスト。

リンク

IBM Developer

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant techno logies such as generative AI, data science, AI, and open source.