New – Amazon FSx for Lustre | AWS News Blog
AWS News Blog New – Amazon FSx for Lustre A pebibyte (PiB – 1,125,899,906,842,624 bytes) is an impressive amount of data, slightly less than half of the estimated memory capacity of a human brain. Data lakes, High-Performance Computing (HPC), and Electronic Design Automation (EDA) applications traditionally work at this scale, as do more recent data-intensive applications such as Machine Learning
Lustre
The Lustre® file system is an open-source, parallel file system that supports many requirements of leadership class HPC simulation environments. Whether you’re a member of our diverse development community or considering the Lustre file system as a parallel file system solution, these pages offer a wealth of resources and support to meet your needs. Events Lustre Administrators and Developers Work
IPFS is the Distributed Web
Discover What's Out There with IPFS IPFS is an open system to manage data without a central server A Universe of Uses IPFS's versatility shines across different industries – making it the multi-purpose tool for the decentralized age. Develop offline-native productivity toolsAnytype uses the content addressing on IPFS to empower users to build personal knowledge webs that can be shared with others
「RAID-Z」で高速ストレージを構築しよう(2) - VMWare ESXiでFreeNAS iSCSIボリュームを利用する | OTTOSERVER Blog | コンピューターのおっと
前提条件・本体にHDDが3台以上搭載されている。 ・FreeNAS 0.7.1 stable (AMD64)がインストールされている。 新世代のRAID「RAID-Z」で高速ストレージを構築しよう(1)と、PRIMERGY TX100とFreeNASで、超かんたん格安静音ファイルサーバを構築しようの記事を、あわせてご覧ください。 注意点・FreeNASのZFSは多くの本番環境で運用されていますが、記事執筆時点では、基本的に「実験的」リリースです。自己責任でご利用ください。 （FreeBSD 8.0ベースのFreeNASでは、ZFSがv13となり、プロダクションレベルに達しています） 構築手順1)ZFS storage pool deviceでディスクをマウント メニューの[ディスク]→[マネージメント]から、ディスクを追加。 マウント時にファイルシステム事前フォーマットを「ZFS stor
ZFSを使ってみる - NO LIMIT Is. Wiki支部
概要 ZFSはSolaris10で新たに採用されたファイルシステムです。 ZFSには先進的な機能が多数盛り込まれており、以下のような特徴があります。 簡単(zpool, zfsの2つのコマンドだけで管理できる) 大容量(16エクサバイトのファイルを扱える) 高機能(RAID、スナップショット、クローン、クォータ、...) 安全(99.99999999999999999%の信頼性) 無料！ ZFSの基本的な使い方をまとめてみます。 ZFSファイルシステムの作成 /export/homeパーティションをZFSに移行してみます。ルートパーティションはSolaris10 11/06の時点では残念ながらZFSにできません。 ストレージプールの作成 まずストレージプールを作ります。 物理的なディスク(スライス)をいくつかまとめて仮想的なディスクとして扱うことができます。 ストレージプールはミラー(RA
FreeNAS 0.7 で ZFS と iSCSI Target を構成する - 環境さんぷる
テスト用のFreeNASのダウンロードはこちらから。 http://sourceforge.net/project/showfiles.php?group_id=151951&package_id=229704 以下の情報はnightly build 0.7.4541に基づいています。 ZFSでメモリが明らかに足りないのでKVA_PAGESを増加してもらいました。 r4537においてコミットされたので、それ以降であれば2GBがカーネル空間に 割り当てられます。 また、r4539において新バージョンのistgtに変更してもらいました。 この版はFreeBSD initiatorで発現するバグを修正したバージョンです。 １．カーネルメモリの増加(i386版の必須事項) まず事前準備として、設定を変更します。 この変更はi386版ではメモリ搭載量にかかわらずZFSを利用する場合は必
自宅ファイルサーバ構築メモ その3 FreeNAS 導入 最強のNAS OS = FreeNAS - When it’s ready.
ココ数日毎晩OS入れなおしたり、Diskフォーマットし直したりして日々勉強しております。遂に理想のOSが見つかった気がしているWWDCの夜です。 FreeNAS かなーり有名だけど今までしょぼいだろうと食わず嫌いで使ったこと有りませんでした。 公式ページによると FreeNAS is an embedded open source NAS (Network-Attached Storage) distribution based on FreeBSD, supporting the following protocols: CIFS (samba), FTP, NFS, TFTP, AFP, RSYNC, Unison, iSCSI (initiator and target) and UPnP. It supports Software RAID (0,1,5), ZFS, disk e
ZFS、デバイスの用途をまとめ。それとTIPS。 « SawanoBlog.
ZFSでzpoolを作成するとき、各デバイスまたはファイルに3種類の役割がある。 データ用、キャッシュ用、ログ用とあるが、zpool構成するときにそれぞれどのように使えるかまとめてみた。 検証に使ったのは取ったのはOpenSolarisのb131、zpoolバージョンは22だ。 デバイスの用途と構成・特徴一覧 ざっとこうなる。 zpool形式 data cache log スパン ○ ○ ○ ミラー ○ × ○ RAIDZ ○ × × RAIDZ2 ○ × × RAIDZ3 ○ × × detach 条件付○ ○ 条件付○ ファイルを指定 ○ × ○ dataとlogは似ている data用は取れる構成コンプリートなのは当たり前だが、detachには制限がある。 logも同様だが、完全なデータのコピーがないデバイスは取り外せない、すなわちミラー状態の片割れが唯一取り外しOKで他の
一瞬でのバックアップを実現するSolaris ZFS
一瞬でのバックアップを実現するSolaris ZFS：OpenSolarisで始めるブログサーバ構築（4）（1/4 ページ） この連載では、サーバOSとして十数年発展してきた「Solaris」をオープンソース化した「OpenSolaris」を紹介し、ブログサーバ「Roller」と組み合わせて運用していくうえで有用なさまざまな知識を紹介していきます。（編集部） 前回の「Solarisコンテナでセキュリティを強化」では、仮想化技術であるSolarisコンテナを用いて、ブログサイトをセキュアな環境に移行する方法について解説しました。Solarisコンテナを用いると、思ったよりも簡単な手順で仮想環境が構築できることがお分かりいただけたと思います。 今回は、最新のSolaris ZFS（以下ZFS）ファイルシステムを用いたデータ管理方法やSolarisコンテナとZFSの組み合わせによるプロビジョニン
ZFSでストレージ
hbstudy#12の資料です * こんなに速いZFS * ZFSが遅くなる訳 * ZFSストレージの実際 * ストレージ以外でも便利なZFSRead less
LinuxのファイルI/Oチューニングに使える「Iotop」 - GIGAZINE
ファイルI/Oがパフォーマンスのボトルネックになっていることはなんとなくわかるが、具体的にはどうなっているのかを知りたい場合、通常はvmstatやiostatなどを使うわけですが、この「Iotop」を使うと、いわゆるtopコマンドのような感じで表示してくれるので、ケースによってはかなり状況を把握しやすくなり、非常に役立ちます。 詳細は以下。 Iotop's homepage http://guichaz.free.fr/iotop/ 中身はPythonで書かれており、Python2.5以上とLinuxのカーネル2.6.20以上で動作します。 画面はこんな感じ あと、ディスクI/O関連は以下のページも参考になります。 Linux I/O のお話 write 編 - naoyaのはてなダイアリー Linuxチューニング 第2部第3回 ハード・ディスクをチューニング（その1）：ITpro
Dokan SSHFSを使ってiPod touchをWindowsにマウントする - ただのにっき(2008-01-12)
■ Dokan SSHFSを使ってiPod touchをWindowsにマウントする (Macで)iPhone/touchをディスクとしてマウントするという記事を見かけたので、「それWindowsでもできるよ」という記事を書いておく。Dokan SSHFSを使うってだけの話だけど。 Decasというサイトで公開されている、Dokanライブラリとそれを使ったDokan SSHFSというツールを使うと、SSHでアクセスできるホストをネットワークドライブとしてマウントできる。JailbreakしてあるiPod touchはSSHが標準で入っているので、この手が使えるわけだ。 Downloadのページ経由で以下のファイルをGETしてインストール。この順番でインストールする: Dokanライブラリ Visual C++ 2005 SP1再配布可能パッケージ Dokan SSHFS あとはDokanS
Linux チューニング - Ext3 のパフォーマンスを最大化させる
じつは自宅サーバのロードアベレージが上がり続けています。分析の結果、ボトルネックは I/O 処理でした。CPU は Athlon64 X2 4400+ ですが、まだまだ当分この CPU で間に合いそうです。HDD は当時は 7200 回転で最速だった HITACHI Deskstar T7K250 SATA2 250GB を RAID1 構成にしたのですが、今思えば速度優先で RAID0 にしておけば良かったと少しだけ後悔。 I/O がボトルネックに成っている理由ですが、Drk7jp が公開しているサービスの全てがキャッシュファイルを利用した高速化手法を取っているのですが、単純にそれらファイルの write 処理が追いついていません。常に何らかのプロセスで I/O 待ち状態が発生しているような状況です。抜本的な解決方法としては disk を高速なものに交換する以外ありません。 というわけで
Winnyキャッシュファイルシステムを作りました - デー
金曜にやたーはてなダイアリーファイルシステムできたよ＼(^o^)／ - 2nd lifeを見てファイルシステムが簡単に作れるライブラリがあることを知って、高木浩光＠自宅の日記 - ウイルス駆除のためWinnyのCacheフォルダを仮想ドライブ化してはどうかを思い出したので、似たようなWindowsライブラリのDokan を使って作ってみました。 いまのところ、実行手段がテキトウなのとAVG Freeで試したところ少し問題がありましたが、読み取り専用の仮想ドライブとしてウィルススキャンと感染ファイルの削除はできています。 概要 Winny2のcacheフォルダを仮想ドライブとしてマウントします。仮想ドライブからは復号された状態のキャッシュファイル(=元ファイル)へアクセスできます。 基本的に読み取り専用ドライブですが、削除だけは可能で、ファイルの削除が実行されると対応するcacheフォルダの
やたーはてなダイアリーファイルシステムできたよ＼(^o^)／ - 川o・-・）＜2nd life
はてなダイアリーが AtomPub で編集できるようになったので、早速 fuse を使ってファイルシステムを作ってみました。こんな感じに使えます。 http://rails2u.com/tmp/diary_fuse/fuse.htm (動画) /create に保存すると現在時刻で作成 /20080820101010 など、エントリーを編集可能。保存で更新。 rm するとエントリーを削除 /\d{14} 的なファイル名で保存すると、その時刻のエントリーを作成 などなど。Ruby の FuseFS を初めて使ってみましたが、結構簡単にファイルシステムをいじれて便利ですね。ちなみに本文の改行周りがおかしくなるというアレな挙動をして、全然実用できませんが、AtomPub 使うとこんな事もできるよーという例として見ていただければ。 ソースコードは以下です。
「しまった」という時のためのext3undel | OSDN Magazine
rmコマンドはデータを削除するためのパワフルなツールだ――が、ファイルやディレクトリを誤って削除してしまった場合にはそうとも言っていられない。しかしありがたいことに ext3undel ユーティリティを使えば、ext3ファイルシステム上で誤って削除してしまったデータを復旧することができる。ext3undelを使えば、ファイル名で指定したファイルを復旧させることもできるし、削除されたという印が付けられている全ファイルを復旧することもできる（ただしこの場合ファイル名は復旧できないため目的のファイルを見つけるためにファイルの内容を確認する必要がある）。 ext3ファイルシステム上の各ファイルは、2つの部分から構成されている。一つは、ファイル名、容量、作成日時、アクセス日時などのファイルのメタデータで、inodeというUnixのデータ構造の中に保存されている。もう一つの部分であるファイルの実際の内
Windows版FUSE Dokan がオープンソースになったよ！！ - yukobaのブログ
English blog Dokan(Windows版FUSE) が、昨日、オープンソース(LGPL)になりました！ http://decas-dev.net/2008/05/26/open-source-dokan-library-032-released/ FUSE とは、File system in User space の事で、通常はファイルシステムを作るには、カーネルモードで開発しなくてなならないのですが、ファイルシステムへのアクセスがあった際に、カーネルモードからユーザーモードにコールバックすることにより、ユーザーモードのアプリとして、ファイルシステムを作ることを可能にするライブラリのことです。FUSE があることにより、ファイルシステムの作成は劇的に楽になります。 Linux や MacOSX の FUSE はあるのですが、Windows 版の FUSE はオープンソース版が
MOONGIFT: � 成熟した分散化ファイルシステム「OpenAFS」:オープンソースを毎日紹介
企業内のファイルサーバというと、SambaやWindowsを使った中央集約的なファイルサーバがメインになっている。だが、扱うファイルの量が膨大になってきていること、その維持管理がわずかなサーバによって管理されている問題がある。 そうした状況を受け、ファイルシステムも次世代化を目指す段階にきたようだ。 今回紹介するオープンソース・ソフトウェアはOpenAFS、分散化ファイルシステムだ。 OpenAFSの開発は実に1983年からはじまっているらしい。当時ではまだまだ速すぎたかも知れないが、現状のネットワーク化がようやくOpenAFSを求めつつある。分散化することによって複数のファイルサーバを意識することなく利用できるのは素晴らしい。 Mac OSX向けインストーラー インストーラー付きのクライアントはWindows、Mac OSX向けが用意されている。クライアントはインストールするだけで良いの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
以前のディスク状態に簡単に戻せるファイルシステム NILFS
ファイルシステムでHello World
