[B! hdfs] hirose31のブックマーク
HDFS Reliability Document by Cloudera. Inc. 2009-01-14 (Wed) 23:57 Hadoop HDFS Reliability Clouderaという会社から、HDFSの耐障害性の解説と、運用する点でのポイントが書かれたドキュメントが出ているみたいです。 Cloudera このClouderaという会社はSleepycat(BDB作ってた会社、Oracleが買収)の元CEOが立ち上げた会社で、Hadoopの商用サポート・トレーニングをしてるみたいですね。 メンバーを見ると、層々たる面々。ChristophさんはGOOGにいる時に取り上げられてたりしてましたね。 Hadoop周りの人(そんな人いるのか？)は要注目の会社だと思います。 Similar Posts: HDFSでアトミックな追記操作がサポート Hadoopのインストールとサンプ
[B! pNFS] hirose31のブックマーク
Overview Welcome to the Network-Based Computing (NBC) Laboratory at the Computer Science and Engineering Department! Many state-of-the-art and exciting research projects are being carried out by various members of the group, including: High Performance MPI on Infiniband Cluster High Performance Runtime for PGAS Models (OpenSHMEM, UPC and CAF) Programming model support for GPU and Accelerators Netw
[B! ceph] hirose31のブックマーク
ここでは分散ファイルシステム Cephファイルのインストール方法や解説を行う。 Ceph は Linux 上で動作する分散ファイルシステム(Distributed File System; DFS)の一つ。 UCSC の Sage Weil の博士論文が元となり、ペタバイト級の高性能な DFS を実現することを目標としている。 オープンソースとして開発されており、Linux カーネル 2.6.34 から取り込まれている。 リスト Ceph を使ってみる … Ceph のインストール方法と cephfs の基本的な使い方 Rados Block Device(RBD) を使ってみる … RBD の基本的な使いかた CRUSH マップの書き方 … Ceph の CRUSHマップの書き方を解説 RADOS の概略 (RADOS と CRUSH と Placement Group の関係) … 論
[B! pvfs] hirose31のブックマーク
Overview Welcome to the Network-Based Computing (NBC) Laboratory at the Computer Science and Engineering Department! Many state-of-the-art and exciting research projects are being carried out by various members of the group, including: High Performance MPI on Infiniband Cluster High Performance Runtime for PGAS Models (OpenSHMEM, UPC and CAF) Programming model support for GPU and Accelerators Netw
[B! googlefs] hirose31のブックマーク
Update 2: Sorting 1 PB with MapReduce. PB is not peanut-butter-and-jelly misspelled. It's 1 petabyte or 1000 terabytes or 1,000,000 gigabytes. It took six hours and two minutes to sort 1PB (10 trillion 100-byte records) on 4,000 computers and the results were replicated thrice on 48,000 disks. Update: Greg Linden points to a new Google article MapReduce: simplified data processing on large cluster
[B! ocfs2] hirose31のブックマーク
最近のトレンドであるクラスタファイルシステムの一つ「OCFS2」を、4+1台のPCで動かしてみました。（1台は後から追加） ディスクの共有には今流行の「iSCSI」ではなく、Linuxの知られざる古参機能「NBD」（Network Block Device）を使用。NBDを4台のマシンで動かして、それをDevice Mapperを使ってRAID 0アレイにして、それをOCFS2で共有します。（mdadm RAID1はうまくいかず） NBDはiSCSIと似た感じのもので、サーバーにあるファイルやブロックデバイスをクライアント側でブロックデバイスとして認識できます。V-FIELDを開発する前はVIVERで使っていました。RAID 0にするには素直にmdadmを使えばいいのですが、普通だと普通なので。 ディストリビューションはMandriva Linux 2007.1、カーネルはディストリビュー
[B! gfs] hirose31のブックマーク
昨日KLab勉強会#2の資料を公開しましたが、その中で動的な分散ファイルシステムを設計していると書きました。分散ファイルシステムというのは既にいろいろ存在しているわけですが、情報が分散していてサッパリ分からないので、このあたりでまとめてみたいと思います。 間違っていたり古かったりするに違いないので、正確な情報は本家の情報を参照してください。 ファイルシステムレイヤー NFS GFS(Global File System) OCFS GlusterFS Lustre 下位レイヤー Filesystem Block Device Block Device Filesystem Block Device 読み込み ○ ○ ○ ○ ○ 書き込み ○ ○ ○ ○ ○ アクセスの冗長化 × ○ ○ ○（負荷分散と排他） × データの冗長化 下位レイヤーに依存 下位レイヤーに依存 下位レイヤーに依存 ○
[B! gluster] hirose31のブックマーク
Adapted from their website: GlusterFS is a clustered file-system capable of scaling to several peta-bytes. It aggregates various storage bricks over Infiniband RDMA or TCP/IP interconnect into one large parallel network file system. Storage bricks can be made of any commodity hardware such as x86-64 server with SATA-II RAID and Infiniband HBA). Cluster file systems are still not mature for enterpr
[B! openvz] hirose31のブックマーク
「前回の COMSTAR ネタに刺激されてしまったので、オレも COMSTAR を使ってみた。」(仮)Kazuyuki Sato
[B! qemu] hirose31のブックマーク
libguestfs tools for accessing and modifying virtual machine disk images Downloads For source see the downloads directory. In Fedora or Red Hat Enterprise Linux: sudo yum install libguestfs-tools On Debian/Ubuntu: sudo apt-get install libguestfs-tools Open a disk image: guestfish --ro -i -a disk.img Other distros, compiling from source ... Documentation Frequently Asked Questions (FAQ) and recipes
[B! vserver] hirose31のブックマーク
キーボードショートカット一覧 j次のブックマーク k前のブックマーク lあとで読む eコメント一覧を開く oページを開く ✕
[B! uml] hirose31のブックマーク
キーボードショートカット一覧 j次のブックマーク k前のブックマーク lあとで読む eコメント一覧を開く oページを開く ✕
[B! xen] hirose31のブックマーク
EC2 における仮想化方式や kernel の扱いにはいくつか種類があって、 カスタマイズ (パフォーマンスチューニングなど) をする上で必要になることがあります。 C3 インスタンスや I2 インスタンスの登場で、それらがより重要になってきた感があるので一度まとめてみます。 * この記事は基本的に Linux についてまとめています 大前提 世に出ている仮想化基盤はいくつかありますが EC2 に使われているのは Xen です。 ただし ハードウェアサポートの追加、インスタンスタイプに応じた各 VM リソースの割り当て方、 ネットワークの扱いなど、 Xen そのものに相当なカスタマイズが行われていることは想像に難くないと思います。 (とか言って API から上だけで実現されていたらそれはそれで面白いですね) 仮想化方式 PV (paravirtual) EC2 ではサービス開始当初から P
[B! virtualbox] hirose31のブックマーク
VagrantではSahara pluginを使うことで、VMの状態を以前の状態に巻き戻すことができます(sandobx mode)。 VMの中でいろいろいじっている際に変更前の状態に戻せるのはとても便利なのですが、Saharaでは戻せるチェックポイントをひとつしか作れません。 自分の場合、深遠なChefのレシピを書いている過程で、戻せるポイントを何個か置きたくなることがよくあります。 さて、VagrantのバックエンドとしてVirtualBoxを使っている人は多いかと思います。 バックエンドがVritualBoxの場合、SaharaのsandboxはVirtualBoxのsnapshotを使って実現されています。 VirtualBoxのsnapshotはひとつだけでなくいくつでも作ることができます。 CUIでVirtualBoxの操作（snapshotを作ったり）をするには、vboxma
[B! afs] hirose31のブックマーク
AFSは、かなりの歴史と実績がある分散ファイルシステムだ。umich, intel等、多くの環境で実際に利用されており、安定度もかなりのものだ（現在のOpenAFSはIBMが販売していたものがベースになっている）。日本語情報が少ないのが困った点だが、英語がちょっと読めるなら、AFS Workshopの資料を読めば、かなりの知識が手に入る。（AFSに興味がなくてもこの資料は読む価値があるかもしれない。ちょっとニヤっとしてしまうだろう） ただ、AFSを使おうと思う上で躊躇してしまうことのひとつは、テラバイト級のボリュームを作ったらどうなるか、いまいちよくわからない点だ。 AFSの制限値をまとめようとした投稿 リプライを読むと、実際どのへんまでいけるのかはよくわからないようだ Quotaは2TBまでしか効かないが、それ以外は動くのでは？という投稿 27TBのデータをOpenAFSで管理しているよ
[B! lustre] hirose31のブックマーク
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 lustre 最終更新： linuxfs 2007年01月02日(火) 11:49:37履歴 Tweet FrontPage 詳解Lustre 詳解Lustre Lustreとは Lustreの特徴1 Lustreの特徴2 Lustreの特徴3 lustreの使い方詳解 その他諸元(2006/03/28 現在) Lustreとは Lustreとは、Cluster File Systems, Inc.がGPLに基づいて配付している、クラスタファイルシステムです。~ POSIXに準拠しています。~ ライセンス : GNU GPL~ 作者 : Cluster File Systems, Inc.~ ホームページ : http://www.lustre.org/ ~ https://mai
[B! Gfarm] hirose31のブックマーク
10:15 - 11:10 Gfarm ファイルシステムの最新機能概要 [ PPT 1.5MB ] 建部修見 (産総研) ・Gfarm ファイルシステムの概要 (20分) ・Gfarm バージョン 1.2 の新機能の紹介 (10分) ・デモンストレーション (25分) 11:20 - 12:00 Gfarm ファイルシステムの実装とロードマップ [ PPT 500KB ] 建部修見 (産総研) ・Gfarm の実装の概要 (30分) ・ロードマップ
[B! ocfs] hirose31のブックマーク
キーボードショートカット一覧 j次のブックマーク k前のブックマーク lあとで読む eコメント一覧を開く oページを開く ✕
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
